[도서] 한국어 임베딩 - 1장. 다양한 임베딩 기법들

1.3 임베딩 기법의 역사와 종류

1.3.1 통계 기반에서 뉴럴 네트워크 기반으로

초기 임베딩 기법: 잠재 의미 분석(Latent Semantic Analysis)

: 단어 사용 빈도 등 말뭉치의 통계량 정보가 들어 있는 커다란 행렬에 특이값 분해(SVD) 등 수학적 기법을 적용해 행렬에 속한 벡터들의 차원을 축소하는 방법

-> 이 결과로 말뭉치의 주제를 추출할 수 있다.

 

ex) 단어-문서 행렬에 잠재 의미 분석을 적용

- 대부분의 행렬은 희소 행렬(대부분의 요소 값이 0인 행렬)인데,

  이런 희소 행렬이 다른 모델의 입력값으로 쓰이게 되면 계산량, 메모리 소비량이 너무 커짐

-> 이런 이유로 원래 행렬의 차원을 축소한 뒤 사용한다.

 

- 단어 or 문서를 기준으로 차원을 축소할 수 있음

   - 단어 기준으로 축소: 단어 수준 임베딩

   - 문서 기준으로 축소: 문서 임베딩

 

 

1.3.2 단어 수준에서 문장 수준으로

단어 수준 임베딩: NPLM, Word2Vec, GloVe, FastText, Swivel 등

- 각각의 벡터들에 대해 해당 단어의 문맥적 의미를 함축함

 

* 하지만 동음이의어를 분간하기 어렵다는 문제점

- 단어의 형태가 같다면 동일한 단어로 간주함

 

문장 수준 임베딩: ELMo, BERT, GPT 등

: 개별 단어가 아닌 단어 시퀀스 전체의 문맥적 의미를 함축함

- 단어 임베딩 기법들보다 전이 학습 효과가 좋음

 

ex) 먹는 배, 신체 부위 배, 교통 수단 배들을 분리해 이해할 수 있음

 

 

1.3.3 룰 -> 엔드투엔드 -> 프리트레인/파인 튜닝

90년대까지 자연어 처리 모델은 사람이 feature(모델의 입력값)를 직접 선택함

- 언어 문장의 규칙을 모델에 직접 알려줌

 

2000년대 자연어 처리 분야에 딥러닝 모델이 주목받기 시작함

- 사람이 모델에 규칙을 직접 알려주지 않아도 데이터를 받으면 입출력 사이의 관계를 사람의 개입 없이 스스로 이해할 수 있음

: 엔드투엔드 모델 ex) seq2seq

 

2018년 ELMo가 제안된 후 프리트레인(pretrain)과 파인 튜닝(fine-tuning) 방식으로 발전함

- 먼저 대규모 말뭉치로 임베딩을 만듬 (pretrain)

    - 이 임베딩 안에는 말뭉치의 의미적, 문법적 맥락이 포함됨

- 이런 임베딩을 입력으로 하는 새로운 딥러닝 모델을 만들고,

  원하는 구체적 문제에 맞는 소규모 데이터에 맞게 임베딩을 포함한 모델 전체를 업데이트 함 (fine-tuning, 전이 학습)

 

 

* 다운스트림 태스크(downstream task): 우리가 풀고 싶은 구체적 문제들

ex) 품사 판별, 개체명 인식, 의미역 분석 등

 

* 업스트림 태스크(upstream task): 다운스트림 태스크에 앞서 해결해야 할 과제들

ex) 단어/문장 임베딩을 pretrain 하는 작업

 

윗 물이 맑아야 아랫물이 맑다.

-> 임베딩 품질이 좋아야 문제를 제대로 풀 수 있다.

 

 

1.3.4 임베딩의 종류와 성능

(1) 행렬 분해 기반 방법

: 행렬을 두 개 이상의 작은 행렬로 쪼개는 방식의 임베딩 기법

- 분해한 후 둘 중 하나의 행렬만 사용하거나 둘을 더하거나 이어 붙여 임베딩으로 사용

ex) GloVe, Swivel 등

 

(2) 예측 기반 방법

: 어떤 단어 주변에 특정 단어가 나타날지 예측하거나,

 이전 단어들이 주어졌을 때 다음 단어가 무엇일지 예측하거나,

 문장 내 일부 단어를 지우고 해당 단어가 무엇일지 맞추는 과정에서 학습하는 방법

ex) Word2Vec, FastText, BERT, ELMo, GPT 등

 

(3) 토픽 기반 방법

: 주어진 문서에 잠재된 주제를 추론하는 방식으로 임베딩을 수행

ex) 잠재 디리클레 할당(Latent Dirichlet Allocation)

 

(4) 임베딩 성능 평가

파인 튜닝 모델의 구조를 고정한 뒤 각 임베딩을 전이 학습시키는 형태로 정확도를 측정함

GloVe < ELMo < GPT < BERT-base < BERT-large

- 임베딩 품질이 각 다운스트림 태스크 성능에 크게 영향을 주고 있음

 

 

 

 

1.5 이 책이 다루는 데이터와 주요 용어

* 말뭉치(corpus): 임베딩 학습이라는 특정 목적을 가지고 수접한 표본(sample)

- 컬렉션(collection): 말뭉치에 속한 각각의 집합

 

책에서 다루는 데이터의 기본 단위: 문장

 

생각이나 감정, 정볼르 공유하는 문장 집합: 문서

 

책에서 다루는 가장 작은 단위: 토큰(token)

- 문장은 여러 개의 토큰으로 구성됨

- 문맥에 따라서는 토큰을 단어, 형태소, 서브워드라고 부름

 

* 토크나이즈(tokenize): 문장을 토큰 시퀀스로 분석하는 과정

ex) 실수, 인, 초월수, 는, 모두, 무리수, 이, 다.

 

* 형태소 분석: 문장을 형태소 시퀀스로 나누는 과정

- 형태소 분석, 토크나이즈, 토큰화라고 부름

 

* 어휘 집합: 말뭉치에 있는 모든 문서를 문장으로 나누고 여기에 토크나이즈를 실시한 후 중복을 제거한 토큰들의 집합