Deep Learning Study12 [확률 및 통계학] Likelihood 혹시 잘못된 부분이나 수정할 부분이 있다면 댓글로 알려주시면 감사하겠습니다. Likelihood, Maximum Likelihood Estimation(MLE), Log Likelihood, Negative Log Likelihood은 비슷한 이름을 가지며 딥러닝 논문들을 읽게되면 빈번하게 등장한다. Likelihood Likelihood는 가능도 또는 우도라고 표현하며 특정 사건들이 일어날 가능성을 의미한다. 위와 같은 그림에서 연속확률분포에서 확률은 x1과 x2 사이의 넓이를 의미하고 Likelihood는 x1과 x2의 확률분포 값의 곱을 의미한다. 여기서 Θ는 확률분포의 파라미터로 평균과 표준편차를 의미한다. Likelihood를 수식으로 표현하면 다음과 같다. 연속확률분포말고 이산확률분포에서도 똑.. 2024. 2. 27. Stanford CS224N - Lecture 2. Neural Classifiers 본 글은 Stanford CS224N: NLP with Deep Learning | Winter 2021 내용을 기반으로 합니다. 강의를 듣고 정리한 글로 혹시 잘못된 부분이나 수정할 부분이 있다면 댓글로 알려주시면 감사하겠습니다. Optimization 1. Gradient Descent Optimization은 지난 Lecture 1에서 다룬 Word2Vec의 object function인 J(Θ)를 최소로 하는 것을 목표로 한다. Gradient Descent 식은 다음과 같다. Object function을 최소화하는 parameter를 찾기 위한 Gradient Descent는 전체 데이터에 대해 계산이 이루어지기 때문에 계산량이 너무 많으며 시간도 오래 걸린다. 2. Stochastic Gra.. 2023. 10. 27. Stanford CS224N - Lecture 1. Intro & Word Vectors 본 글은 Stanford CS224N: NLP with Deep Learning | Winter 2021 내용을 기반으로 합니다. 강의를 듣고 정리한 글로 혹시 잘못된 부분이나 수정할 부분이 있다면 댓글로 알려주시면 감사하겠습니다. How to represent words meaning 1. WordNet 간단한 방법으로는 WordNet과 같이 유의어(synonym)와 상위어(hypernym) 사전을 사용. 어휘 사전의 문제점 - 단어에 대한 의미의 차이가 있음 - 신조어에 대해 일일이 반영해 주기 힘듦 - 주관적임 - 단어와 단어 간의 유사도를 계산할 수 없음 2. One-hot Vector - 단어를 벡터로 표현할 수 있는 가장 간단한 방법 - 단어를 discrete symbols로 여기며 local.. 2023. 10. 23. 이전 1 2 다음
