자연어 처리

Language Modeling - Language Model은 텍스트에 확률을 할당하는 시스템으로 생각할 수 있다. (문장의 단어 x(1), x(2) , ... x(t) 가 주어졌을 때 다음에 올 단어 x(t+1) 의 확률) - 예를 들어 텍스트의 일부 x(1),x(2),...,x(t)를 가지고 있을 때, Language Model에 따라 이 텍스트가 발생할 확률(자연스러운 문장일 확률)은 다음과 같다. ⇒ 단어의 시퀀스(문장)에 대해서 얼마나 자연스러운 문장인지를 확률을 이용해 예측한다. 활용 문장의 확률 또는 단어의 등장 확률을 예측 기계번역, 음성인식, 자동완성(ex. 구글 검색) n-gram Language Models - Deep Learning 이전에 Language Model에 주로 사용된..

Sentence Structure Context-Free Grammars(CFGs) 문장의 구조를 단어가 결합된 constituency들의 집합으로 봄. Dependency Structure 문장의 관계를 단어 사이의 dependency로 봄 Why do we need sentence structure? 말하는 사람은 의미 전달을 위해 많은 단어 또는 더 큰 unit을 조합하여 의사소통을 진행, 듣는 사람은 단어 앞에 어떤 단어가 attach(modifer) 되는지를 파악해야함. 또한 NLP 관점에서 모델이 의미를 제대로 파악하기 위해서는 문장의 구조를 이해해야함. 문장 구조의 이해에 따라 다양한 의미 해석이 가능해지기 때문에 정확한 구조 파악은 적절한 의미전달에 필수적이다. Dependency Gram..