LSTM(Long Short-Term Memory, 장단기 메모리)

Reference

• https://wikidocs.net/22888

 

 

 

은닉 상태(hidden state)

: 메모리 셀이 출력층 방향 or 다음 시점인 t+1의 자신에게 보내는 값

 

즉, t시점의 메모리 셀은 t-1시점의 메모리 셀이 보낸 은닉 상태의 값을 t시점의 은닉 상태 계산을 위한 입력값으로 사용!!

 

 

바닐라 RNN

: 가장 기본적인 맛의 아이스크림이 바닐라맛 아이스크림인 것처럼, RNN에서도 가장 단순한 형태의 RNN을 바닐라 RNN (Vanilla RNN, Simple RNN)이라고 한다.

 

바닐라 RNN은 길이가 짧은 시퀀스(sequence)에서만 효과를 보이며, 출력 결과가 이전의 계산 결과에 의존한다는 단점이 있다.

이처럼 바닐라 RNN의 시점(time step)이 길어질수록 앞의 정보가 뒤로 충분히 전달되지 못하는 현상이 발생한다.

 

 

위 그림에서 색이 옅어지는 것은 시간이 지날수록 정보량이 손실되어가는 과정을 표현한다.

만약 가장 중요한 정보가 맨 앞에 존재하게 될 때, RNN이 충분한 기억력을 가지고 있지 않는다면 다음 단어를 엉뚱하게 예측할 것이다.

이를 장기 의존성 문제(the problem of Long-Term Dependencies)라고 한다.

 

 

바닐라 RNN 내부

위 그림은 바닐라 RNN의 내부 구조이며, 편향 b를 생략한 그림이다.

바닐라 RNN은 xt와 ht-1이라는 두 개의 입력이 각각의 가중치와 곱해져 메모리 셀의 입력이 된다.

이를 tanh함수의 입력으로 사용해 이 값은 은닉층의 출력인 은닉 상태가 된다.

 

 

LSTM 내부 구조

 

전통적인 RNN의 단점을 보완한 RNN의 일종을 LSTM이라 하낟.

LSTM은 은닉층의 메모리 셀에 입력 게이트, 망각 게이트, 출력 게이트를 추가하여 불필요한 기억을 지우고, 기억해야 할 것들을 정한다.

요약하면, LSTM은 은닉 상태(hidden state)를 계산하는 식이 전통적 RNN보다 복잡해졌으며, 셀 상태(cell state)라는 값을 추가했다.

위 그림에서 t시점의 셀 상태를 Ct라 표현하고 있고, LSTM은 RNN에 비해 긴 시퀀스의 입력을 처리하는데 탁월한 성능을 보인다.

 

 

셀 상태(cell state)는 위의 그림에서 왼쪽에서 오른쪽으로 가는 굵은 선이다.

셀 상태 또한 은닉 상태처럼 이전 시점의 셀 상태가 다음 시점의 셀 상태를 구하기 위한 입력으로서 사용된다.

 

은닉 상태와 셀 상태의 값을 구하기 위해 새로 추가된 3개의 게이트를 사용하게 되는데,

각각 삭제 게이트, 입력 게이트, 출력 게이트라 하며 이 3개의 게이트에 공통적으로 시그모이드 함수가 존재한다.

시그모이드 함수를 통과하면 0-1 사이의 값이 나오게 되므로 이 값들을 통해 게이트를 조절한다.

σ

 

 

(1) 입력 게이트

 

 

입력 게이트는 현재 정보를 기억하기 위한 게이트.

현재 시점 t의 x값과 입력 게이트로 이어지는 가중치 Wxi를 곱한 값과 / 이전 시점의 t-1 시점의 은닉 상태가 입력 게이트로 이어지는 가중치 Whi를 곱한 값을 더하여 / 시그모이드 함수를 지난다. 이를 it라 한다.

 

현재 시점 t의 x값과 입력 게이트로 이어지는 가중치 Wxg를 곱한 값과 / 이전 시점 t-1의 은닉 상태가 입력 게이트로 이어지는 가중치 Whg를 곱한 값을 더하여 / 하이퍼볼릭탄젠트 함수를 지난다. 이를 gt라 한다.

 

시그모이드 함수를 지나 0-1 사이의 값을 가지는 it와 하이퍼볼릭탄젠트 함수를 지나 -1~1 사이의 값을 가지는 gt.

이 두 값을 가지고 이번에 선택ㄱ된 기억할 정보의 양을 정하는데, 구체적으로 어떻게 결정할지는 아래에서 배우게 될 셀 상태 수식을 참고하자.

 

 

(2) 삭제 게이트

 

 

삭제 게이트는 기억을 삭제하기 위한 게이트.

현재 시점 t의 x값과 이전 시점 t-1의 은닉 상태가 시그모이드 함수를 지나게 된다.

시그모이드 함수를 지나면 0-1 사이의 값이 나오는데, 이 값이 곧 삭제 과정을 거친 정보의 양이다.

0에 가까울수록 정보가 많이 삭제된 것, 1에 가까울수록 정보를 온전히 기억한 것.

이를 통해 셀 상태를 구하는데 자세한 건 아래에 ~

 

 

(3) 셀 상태

 

셀 상태 Ct를 구하는 방법에 대해 배워보자. 삭제 게이트에서 일부 기억을 잃은 상태다.

 

입력 게이트에서 구한 it와 gt에 대해 원소별 곱을 진행한다. (크기가 같은 두 행렬이 있을 때, 같은 위치의 성분끼리 곱하는 것)

이것이 이번에 선택된 기억할 값이다.

 

입력 게이트에서 선택된 기억을 삭제 게이트의 결괏값(ft)과 더한다.

이 값을 현재 시점 t의 셀 상태라 함, 이 값은 다음 t+1 시점의 LSTM 셀로 넘겨진다.

 

삭제 게이트의 출력값인 ft가 0이라면, 이전 시점의 셀 상태의 값인 Ct-1은 현재 시점의 셀 상태의 값을 결정하기 위한 영향력이 0이 되면서, 오직 입력 게이트의 결과만이 현재 시점의 셀 상태의 값 Ct를 결정할 수 있다.

(ft와 Ct-1이 곱해지니 영향력이 0이라는 뜻!)

이는 삭제 게이트가 완전히 닫히고 입력 게이트를 연 상태를 의미.

 

반대로 입력 게이트의 it값을 0이라고 한다면, 현재 시점의 셀 상태의 값 Ct는 오직 이전 시점의 셀 상태의 값 Ct-1에만 의존하게 된다.

이는 입력 게이트를 완전히 닫고 삭제 게이트만 연 상태를 의미.

 

결과적으로 삭제 게이트는 이전 시점의 입력을 얼마나 반영할지를 의미하고, 입력 게이트는 현재 시점의 입력을 얼마나 반영할지를 의미한다.

 

 

(4) 출력 게이트와 은닉 상태

 

 

출력 게이트는 현재 시점 t의 x값과 이전 시점 t-1의 은닉 상태가 시그모이드 함수를 지난 값.

해당 값은 현재 시점 t의 은닉 상태를 결정하는 일에 쓰이게 된다.

셀 상태의 값이 tanh 함수를 지나 -1~1 사이의 값이 되고, 해당 값은 출력 게이트의 값과 연산되며, 값이 걸러지는 효과가 발생해 은닉 상태가 된다. 은닉 상태의 값은 또한 출력층으로도 향한다.