[도서] 한국어 임베딩 - 2장. 언어 모델, n-gram

2.3 단어가 어떤 순서로 쓰였는가

2.3.1 통계 기반 언어 모델

언어 모델(langguage model): 단어 시퀀스에 확률을 부여하는 모델

- 등장 순서를 무시하는 백오브워즈와 달리 시퀀스 정보를 명시적으로 학습

(+ 시퀀스란 순서 정보도 저장되어 있는 것임!)

- 백오브워즈의 대척점

 

단어가 n개 주어지면 언어 모델은 n개의 단어가 동시에 나타날 확률, 즉 P(w1, ..., 2n)을 반환함

- 말뭉치에 해당 단어 시퀀스가 얼마나 자주 등장하는지 빈도를 세어 학습함

 

자연스러운 문장에 높은 확률 값을 부여하여 잘 학습된 언어 모델이 있다면 어떤 문장이 그럴듯한지 알 수 있음

 

 

 

n-gram: n개 단어를 뜻하는 용어

- 말뭉치 내 단어들을 n개씩 묶어 그 빈도를 학습했다는 의미

 

ex) 띄어쓰기 단위인 어절을 하나의 단어로 보고 빈도를 센 표

- 문법적, 의미적으로 결함이 없는 훌륭한 문장임에도 말뭉치에 등장하지 않는다면 해당 표현을 말이 되지 않는 문장으로 취급함

 

 

Q1. '내 마음 속에 영원히 기억될 최고의' 라는 표현 뒤에 '명작이다' 라는 단어가 나타날 확률

-> 조건부 확률의 정의를 활용해 최대우도추정법으로 유도하기

 

 

-> 하지만 위 식의 우변의 분자가 0이기 때문에 (말이 되지만 말뭉치에 등장하지 않음) 전체 값은 0이 된다.

 

 

n-gram 모델을 쓰면 이런 문제의 일부를 해결 가능함

- 직전 n-1개 단어의 등장 확률로 전체 단어 시퀀스 등장 확률을 근사함

- 마르코프 가정(Markov assumption)에 기반

    - 한 상태의 확률은 그 직전 상태에만 의존함

    - xi+1은 직전 xi에만 영향을 받고, 그 이전 x1, ..., xi-1과는 통계적 독립

 

 

 

Q2. '내 마음 속에 영원히 기억될 최고의' 뒤에 '명작이다' 가 나타날 확률을 바이그램 모델로 근사하기

- 바이그램 = 2-gram

 

 

 

Q3. 바이그램 모델에서 '내 마음 속에 영원히 기억될 최고의 명작이다 라는 단어 시퀀스가 나타날 확률은 어떨까?

 

 

n-gram 모델은 바이그램 모델의 확장판으로 전체 단어 시퀀스 등장 확률 계산 시 직전 n-1개 단어의 히스토리를 봄

 

 

 

Pbl) 한 번도 등장하지 않은 n-gram 이 존재할 때 예측 단계에서 문제가 발생할 수 있음

ex) '또바기'는 '언제나 한결같이 꼭 그렇게' 라는 뜻을 가진 한국어 부사

-> 예측 단계에서 '그 아이는 또바기 인사를 잘한다'라는 문장이 등장할 확률을 0으로 부여하게 됨

 

Sol) 백오프(back-off), 스무딩(smoothing)

- 백오프: n-gram 등장 빈도를 n보다 작은 범위의 단어 시퀀스 빈도로 근사하는 방식

   - n이 클수록 등장하지 않는 케이스가 많아질 가능성이 높기 때문

   - 여기서 alpha, beta는 실제 빈도와의 차이를 보정해주는 파라미터

 

- 스무딩: 등장 빈도 표에 모두 k만큼 더하는 기법

   - 0이었던 빈도가 k가 됨

   - Add-k 스무딩이라고도 부름

   - 만약 k=1이라면 이를 라플라스 스무딩이라고도 부름

   - 높은 빈도를 가진 문자열 등장 확률을 일부 깎고, 학습 데이터에 전혀 등장하지 않는 케이스들에게는 작게나마 일부 확률을 부여

 

 

 

2.3.2 뉴럴 네트워크 기반 언어 모델

통계 기반 모델들은 단어들의 빈도를 세어 학습한다.

-> 이를 뉴럴 네투워크로 학습할 수도 있음

 

뉴럴 네트워크는 입력과 출력 사이의 관계를 유연하게 포착하고, 그 자체로 확률 모델로 기능할 수 있다.

 

* 뉴럴 네트워크 기반 언어 모델은 주어진 단어 시퀀스를 가지고 다음 단어를 맞추는(prediction) 과정에서 학습 됨

- 학습이 완료되면 이를 모델의 중간 or 말단 계산 결과물을 단어나 문장의 임베딩으로 활용

ex) ELMo, GPT 등

 

발 없는 말이 -> '언어 모델' -> 천리

 

 

마스크 언어 모델(masked language model)

: 문장 중간에 마스크를 씌우고, 해당 마스크 위치에 어떤 단어가 올지 예측하는 과정에서 학습함

 

발 없는 말이 [MASK] 간다 -> '언어 모델' -> 천리

 

언어 모델 기반 기법

- 단어를 순차적으로 입력 받아 다음 단어를 맞추기 때문에 '일방향'

 

하지만 마스크 언어 모델 기법

- 문장 전체를 다 보고, 중간에 있는 단어를 예측하기 때문에 '양방향'

- 기존 언어 모델 기법들 대비 임베딩 품질이 좋음

ex) BERT