yeon's 👩🏻‍💻

3장. 한국어 전처리 교재에서 사용하는 한국어 데이터셋 - 한국어 위키 백과 - KorQuAD - 네이버 영화 리뷰 말뭉치 3.2 지도 학습 기반 형태소 분석 한국어는 조사와 어미가 발달되어 있기 때문에 하나의 동사이지만 다양하게 활용될 수 있다. ex) 가겠다, 가더라 따라서 새로운 활용형이 나타날 때마다 어휘 집합을 계속 늘려야 하는 단점이 있다. -> 이를 해결하기 위해 형태소 분석 기법을 사용한다. 가겠다 > 가, 겠, 다 가더라 > 가, 더라 만약 추가로 '가겠더라' 라는 활용형이 말뭉치에 추가되었다고 가정하자. '가겠더라'는 '가, 겠, 더라'로 분석되기 때문에 어휘집합을 수정하지 않고도 '가겠더라' 라는 활용형을 처리할 수 있게 된다. 교착어인 한국어는 한정된 종류의 조사와 어미를 사용하기 ..

2.4 어떤 단어가 같이 쓰였는가 2.4.1 분포 가정 분포(distribution): 특정 범위, 즉 윈도우(window) 내에 동시에 등장하는 단어의 이웃 단어 or 문맥의 집합 분포 가정의 전제 - 어떤 단어 쌍이 비슷한 문맥 환경에서 자주 등장한다면, 그 의미 또한 유사할 것이다. - '단어의 의미는 곧 그 언어에서의 활용이다' ex) '빨래' 와 '세탁'의 단어의 의미를 파악하기 위해서 -> 문서 내 주변에 등장하는 문맥 단어를 통해 확인한 결과 이웃한 단어들이 서로 비슷하기 때문에 타깃 단어('빨래', '세탁') 또한 비슷한 의미라고 여긴다. But, 개별 단어의 분포 정보와 그 의미 사이에 논리적으로 직접적인 연관성이 있어보이지 않는다. -> 분포 정보가 곧 의미라는 분포 가정에 의문점이 제..

2.1 자연어 계산과 이해 임베딩에 자연어 의미를 어떻게 함축할까. - 자연어의 통계적 패턴 정보를 통째로 임베딩에 넣자. 임베딩을 만들 때 쓰는 통계 정보 1) 문장에 어떤 단어가 (많이) 쓰였는지 2) 단어가 어떤 순서로 등장하는지 3) 문장에 어떤 단어가 같이 나타났는지 백오브워즈 가정 언어 모델 분포 가정 내용 어떤 단어가 (많이) 쓰였는가 단어가 어떤 순서로 쓰였는가 어떤 단어가 같이 쓰였는가 대표 통계량 TF-IDF PMI 대표 모델 Deep Averaging Network ELMo, GPT Word2Vec * 백오브워즈(bag of words) 가정 - 어떤 단어가 (많이) 쓰였는지 정보를 중시 - 저자의 의도는 단어 사용 여부 or 그 빈도에서 드러난다고 가정 - 단어의 순서 정보는 무시 ..

1.3 임베딩 기법의 역사와 종류 1.3.1 통계 기반에서 뉴럴 네트워크 기반으로 초기 임베딩 기법: 잠재 의미 분석(Latent Semantic Analysis) : 단어 사용 빈도 등 말뭉치의 통계량 정보가 들어 있는 커다란 행렬에 특이값 분해(SVD) 등 수학적 기법을 적용해 행렬에 속한 벡터들의 차원을 축소하는 방법 -> 이 결과로 말뭉치의 주제를 추출할 수 있다. ex) 단어-문서 행렬에 잠재 의미 분석을 적용 - 대부분의 행렬은 희소 행렬(대부분의 요소 값이 0인 행렬)인데, 이런 희소 행렬이 다른 모델의 입력값으로 쓰이게 되면 계산량, 메모리 소비량이 너무 커짐 -> 이런 이유로 원래 행렬의 차원을 축소한 뒤 사용한다. - 단어 or 문서를 기준으로 차원을 축소할 수 있음 - 단어 기준으로 ..