[도서] 한국어 임베딩 - 2장. 백오브워즈, TF-IDF

2.1 자연어 계산과 이해

임베딩에 자연어 의미를 어떻게 함축할까.

- 자연어의 통계적 패턴 정보를 통째로 임베딩에 넣자.

 

임베딩을 만들 때 쓰는 통계 정보

1) 문장에 어떤 단어가 (많이) 쓰였는지

2) 단어가 어떤 순서로 등장하는지

3) 문장에 어떤 단어가 같이 나타났는지

 

	백오브워즈 가정	언어 모델	분포 가정
내용	어떤 단어가 (많이) 쓰였는가	단어가 어떤 순서로 쓰였는가	어떤 단어가 같이 쓰였는가
대표 통계량	TF-IDF		PMI
대표 모델	Deep Averaging Network	ELMo, GPT	Word2Vec

 

* 백오브워즈(bag of words) 가정 - 어떤 단어가 (많이) 쓰였는지 정보를 중시

- 저자의 의도는 단어 사용 여부 or 그 빈도에서 드러난다고 가정

- 단어의 순서 정보는 무시

ex) TF-IDF

 

* 언어 모델 - 단어의 등장 순서를 학습해 주어진 단어 시퀀스가 얼마나 자연스러운지 확률을 부여

ex) ELMo, GPT 등

 

* 분포 가정 - 문장에서 어떤 단어가 같이 쓰였는지를 중요하게 여김

- 단어의 의미는 그 주변 문맥을 통해 유추해볼 수 있다고 여김

ex) Word2Vec

 

-> 세 철학은 서로 상호 보완적

 

 

 

2.2 어떤 단어가 많이 쓰였는가

2.2.1 백오브워즈 가정

백(bag): 중복 원소를 허용한 집합 -> 수학에서 set이라고 생각하면 될 듯!

- 원소의 순서는 고려하지 x

 

백오브워즈(bag of words)

: 단어의 등장 순서에 관계 없이 문서 내 단어의 등장 빈도를 임베딩으로 쓰는 기법

 

가정: '저자가 생각한 주제가 문서에서의 단어 사용에 녹아 있다'

- 주제가 비슷한 문서라면 단어 빈도 or 단어 등장 여부가 비슷할 것 -> 백오브워즈 임베딩 역시 유사할 것

 

 

2.2.2 TF-IDF

단어 빈도 or 등장 여부를 그대로 임베딩으로 사용함의 단점

: 해당 단어가 문서에서 많이 등장한다 하더라도 문서의 주제를 가늠하기 어려운 경우가 있음

ex) 조사 ('을/를', '이/가') 만으로 문서의 주제를 추측하기 어려움

 

TF-IDF (Term Frequency-Inverse Document Frequency)

- 단어-문서 행렬에 아래와 같이 가중치를 계산해 행렬 원소를 바꿈

TF(Term Frequency): 어떤 단어가 특정 문서에 얼마나 많이 쓰였는지의 빈도

- 많이 쓰인 단어가 중요하다는 가정

 

DF(Document Frequency): 특정 단어가 나타난 문서의 수

- DF가 클수록 여러 문서에 쓰이는 범용적인 단어구나

 

IDF(Inverse Document Frequency): 전체 문서 수(N)를 해당 단어의 DF로 나눈 뒤 로그를 취한 값

- 이 값이 클수록 특이한 단어구나

-> 단어의 주제 예측 능력과 직결됨

 

즉, 어떤 단어의 주제 예측 능력(IDF)이 강할수록 가중치가 커지고, 그 반대의 경우 작아진다.

+ 단어 사용 빈도는 저자가 상정한 주제와 관련을 맺고 있다고 가정한다.

 

 

TF-IDF 를 적용하면 정보성이 없는 단어들의 가중치는 줄어들어 불필요한 정보가 사라진다.

(IDF를 통해 특이한 단어들만 남게 되므로 조사와 같은 자주 등장하지만 불필요한 정보들은 사라질 것이다.)

 

 

2.2.3 Deep Averaging Network

백오브워즈 가정의 뉴럴 네트워크 버전

 

ex) '애비는 종이었다' -> {애비, 는, 종, 이, 었, 다} 에 속한 단어의 임베딩을 평균을 취해 만듬

 

문장 내에 어떤 단어가 쓰였는지, 쓰였다면 얼마나 많이 쓰였는지 그 빈도만을 따짐

- 문장 임베딩을 입력 받아 해당 문서가 어떤 범주인지 분류함