yeon's 👩🏻‍💻

2.4 어떤 단어가 같이 쓰였는가 2.4.1 분포 가정 분포(distribution): 특정 범위, 즉 윈도우(window) 내에 동시에 등장하는 단어의 이웃 단어 or 문맥의 집합 분포 가정의 전제 - 어떤 단어 쌍이 비슷한 문맥 환경에서 자주 등장한다면, 그 의미 또한 유사할 것이다. - '단어의 의미는 곧 그 언어에서의 활용이다' ex) '빨래' 와 '세탁'의 단어의 의미를 파악하기 위해서 -> 문서 내 주변에 등장하는 문맥 단어를 통해 확인한 결과 이웃한 단어들이 서로 비슷하기 때문에 타깃 단어('빨래', '세탁') 또한 비슷한 의미라고 여긴다. But, 개별 단어의 분포 정보와 그 의미 사이에 논리적으로 직접적인 연관성이 있어보이지 않는다. -> 분포 정보가 곧 의미라는 분포 가정에 의문점이 제..

2.1 자연어 계산과 이해 임베딩에 자연어 의미를 어떻게 함축할까. - 자연어의 통계적 패턴 정보를 통째로 임베딩에 넣자. 임베딩을 만들 때 쓰는 통계 정보 1) 문장에 어떤 단어가 (많이) 쓰였는지 2) 단어가 어떤 순서로 등장하는지 3) 문장에 어떤 단어가 같이 나타났는지 백오브워즈 가정 언어 모델 분포 가정 내용 어떤 단어가 (많이) 쓰였는가 단어가 어떤 순서로 쓰였는가 어떤 단어가 같이 쓰였는가 대표 통계량 TF-IDF PMI 대표 모델 Deep Averaging Network ELMo, GPT Word2Vec * 백오브워즈(bag of words) 가정 - 어떤 단어가 (많이) 쓰였는지 정보를 중시 - 저자의 의도는 단어 사용 여부 or 그 빈도에서 드러난다고 가정 - 단어의 순서 정보는 무시 ..

1.3 임베딩 기법의 역사와 종류 1.3.1 통계 기반에서 뉴럴 네트워크 기반으로 초기 임베딩 기법: 잠재 의미 분석(Latent Semantic Analysis) : 단어 사용 빈도 등 말뭉치의 통계량 정보가 들어 있는 커다란 행렬에 특이값 분해(SVD) 등 수학적 기법을 적용해 행렬에 속한 벡터들의 차원을 축소하는 방법 -> 이 결과로 말뭉치의 주제를 추출할 수 있다. ex) 단어-문서 행렬에 잠재 의미 분석을 적용 - 대부분의 행렬은 희소 행렬(대부분의 요소 값이 0인 행렬)인데, 이런 희소 행렬이 다른 모델의 입력값으로 쓰이게 되면 계산량, 메모리 소비량이 너무 커짐 -> 이런 이유로 원래 행렬의 차원을 축소한 뒤 사용한다. - 단어 or 문서를 기준으로 차원을 축소할 수 있음 - 단어 기준으로 ..