Deep Learning Study/cs224n4 Stanford CS224N - Lecture 4. Syntactic Structure and Dependency Parsing 본 글은 Stanford CS224N: NLP with Deep Learning | Winter 2021 내용을 기반으로 합니다.강의를 듣고 정리한 글로 혹시 잘못된 부분이나 수정할 부분이 있다면 댓글로 알려주시면 감사하겠습니다.강의 순서1. Syntactic Structure: Consistency and Dependency2. Dependency Grammar and Treebanks3. Transition-based dependency parsing4. Neural dependency parsing1. Syntactic Structure: Consistency and DependencyNLP 모델이 문장을 깊게 이해하기 위해서 구문 구조를 분석하는 것이 필요하다.구문 구조를 분석하는 것에는 두 가지.. 2024. 4. 4. Stanford CS224N - Lecture 3. Backprop and Neural Networks 본 글은 Stanford CS224N: NLP with Deep Learning | Winter 2021 내용을 기반으로 합니다. 강의를 듣고 정리한 글로 혹시 잘못된 부분이나 수정할 부분이 있다면 댓글로 알려주시면 감사하겠습니다. 개체명 인식(Named entity recognition, NER) 각 개체의 유형을 인식하는 task로 어떤 단어가 사람, 장소, 조직 등을 의미하는 단어인지 찾을 수 있다. Simple NER: Window classification using binary logistic classifier - context window의 이웃 단어들을 이용하여 각 단어들을 분류 예를 들어 "the museums in Paris are amazing to see."라는 문장에서 "Pari.. 2024. 3. 4. Stanford CS224N - Lecture 2. Neural Classifiers 본 글은 Stanford CS224N: NLP with Deep Learning | Winter 2021 내용을 기반으로 합니다. 강의를 듣고 정리한 글로 혹시 잘못된 부분이나 수정할 부분이 있다면 댓글로 알려주시면 감사하겠습니다. Optimization 1. Gradient Descent Optimization은 지난 Lecture 1에서 다룬 Word2Vec의 object function인 J(Θ)를 최소로 하는 것을 목표로 한다. Gradient Descent 식은 다음과 같다. Object function을 최소화하는 parameter를 찾기 위한 Gradient Descent는 전체 데이터에 대해 계산이 이루어지기 때문에 계산량이 너무 많으며 시간도 오래 걸린다. 2. Stochastic Gra.. 2023. 10. 27. Stanford CS224N - Lecture 1. Intro & Word Vectors 본 글은 Stanford CS224N: NLP with Deep Learning | Winter 2021 내용을 기반으로 합니다. 강의를 듣고 정리한 글로 혹시 잘못된 부분이나 수정할 부분이 있다면 댓글로 알려주시면 감사하겠습니다. How to represent words meaning 1. WordNet 간단한 방법으로는 WordNet과 같이 유의어(synonym)와 상위어(hypernym) 사전을 사용. 어휘 사전의 문제점 - 단어에 대한 의미의 차이가 있음 - 신조어에 대해 일일이 반영해 주기 힘듦 - 주관적임 - 단어와 단어 간의 유사도를 계산할 수 없음 2. One-hot Vector - 단어를 벡터로 표현할 수 있는 가장 간단한 방법 - 단어를 discrete symbols로 여기며 local.. 2023. 10. 23. 이전 1 다음
