[도서] 한국어 임베딩 - 2장. 분포 가정, PMI, Word2Vec

2.4 어떤 단어가 같이 쓰였는가

2.4.1 분포 가정

분포(distribution): 특정 범위, 즉 윈도우(window) 내에 동시에 등장하는 단어의 이웃 단어 or 문맥의 집합

 

분포 가정의 전제

- 어떤 단어 쌍이 비슷한 문맥 환경에서 자주 등장한다면, 그 의미 또한 유사할 것이다.

- '단어의 의미는 곧 그 언어에서의 활용이다'

 

ex) '빨래' 와 '세탁'의 단어의 의미를 파악하기 위해서

-> 문서 내 주변에 등장하는 문맥 단어를 통해 확인한 결과

    이웃한 단어들이 서로 비슷하기 때문에 타깃 단어('빨래', '세탁') 또한 비슷한 의미라고 여긴다.

 

But, 개별 단어의 분포 정보와 그 의미 사이에 논리적으로 직접적인 연관성이 있어보이지 않는다.

-> 분포 정보가 곧 의미라는 분포 가정에 의문점이 제기될 가능성이 있음

 

 

2.4.2 분포와 의미 (1): 형태소

형태소: 의미를 가지는 최소 단위

- '의미'는 어휘적인 것 + 문법적인 것

 

언어 학자들이 형태소를 분석하는 방법

- 계열 관계: 해당 형태소 자리에 다른 형태소가 '대치'되어 쓰일 수 있는가를 따지는 것

ex) '밥' 대신 '빵'이, '철수' 대신 '영희'가 올 수 있음 -> '밥'과 '철수'에 형태소 자격을 부여

 

- 특정 타깃 단어 주변의 문맥 정보를 바탕으로 형태소를 확인한다.

-> 말뭉치의 분포 정보와 형태소가 밀접한 관계를 이룬다.

 

 

2.4.3 분포와 의미 (2): 품사

품사 분류기준 - 기능, 의미, 형식

 

- 기능: 한 단어가 문장 내에서 다른 단어와 맺는 관계

   ex) 깊이, 높이 / 깊다, 높다

- 의미: 단어의 형식적 의미

   ex) 깊이, 깊다 / 높이, 높다

      -> 이 분류 기준은 어휘적 의미

      - 하지만 품사 분류에는 어휘적 의미보다 형식적 의미가 더 중요함

      -> 깊이, 높이 / 깊다, 높다 (사물의 이름 / 움직임, 성질, 상태 기준 분류)

- 형식: 단어의 형태적 특징

   ex) 깊다, 깊었다, 깊겠다 / 높다, 높았다, 높겠다 - 변화 가능

      -> 깊이, 높이 / 깊다, 높다

 

하지만 실제 품사 분류를 할 때는 여러 어려움이 존재함

ex) 공부하다 / 공부

ex) 영수가 학교에 간다 / 영수! 조용히 해.

- (영수) 형태는 같지만 기능과 의미가 달라짐

 

 

실제 품사 분류의 가장 중요한 기준은 '기능'이라고 한다.

- 해당 단어가 문장 내에서 점하는 역할에 초점을 맞추어 품사를 분류함

 

한국어를 비롯한 많은 언어에서는 어떤 단어의 기능이 그 단어의 분포와 매우 밀접한 관계를 맺고 있다고 한다.

- 기능은 특정 단어가 문장 내에서 어떤 역할을 하는지, 분포는 그 단어가 어느 자리에 있는지를 나타냄

-> 기능과 분포는 개념적으로는 다르지만 밀접한 관련을 가짐

 

임베딩에 분포 정보를 함축시킨다면 해당 벡터에 해당 단어의 의미를 자연스레 내재시킬 수 있을 것이다.

 

 

2.4.4 점별 상호 정보량

점별 상호 정보량(PMI, Pointwise Mutual Information)

: 두 확률 변수 사이의 상관성을 계량화하는 단위

- 두 확률 변수가 완전히 독립인 경우 값이 0이 됨

- 단어 A가 등장할 때 단어 B와 자주 같이 등장한다면 PMI 값은 커짐

 

즉, PMI는 두 단어의 등장이 독립일 때에 비해 얼마나 자주 같이 등장하는지를 수치화 한 것

 

분포 가정에 따른 단어 가중치 할당 기법

- 두 단어가 얼마나 자주 같이 등장하는지에 관한 정보를 수치화한 것이기 때문

 

 

2.4.5 Word2Vec

Word2Vec: 2013년 구글 연구팀이 발표한 임베딩 기법

- CBOW 모델: 문맥 단어들을 가지고 타깃 단어 하나를 맞추는 과정에서 학습됨

- Skip-gram 모델: 타깃 단어를 가지고 문맥 단어가 무엇일지 예측하는 과정에서 학습됨

-> 둘 모두 특정 타깃 단어 주변의 문맥, 즉 분포 정보를 임베딩에 함축함

 

실제 Word2Vec 기법은 PMI 행렬과 깊은 관계가 있다는 연구 논문이 발표됨.