LSTM

Long Short Term Memory

RNN의 문제

• Vanishing Gradient
• Exploding Gradient

구성 요소

구성 요소	설명
Forget Gate Layer	어떠한 정보를 반영할지에 대한 결정 sigmoid 활성화 함수를 통해 0~1사이의 값을 출력
Input Gate Layer	새로운 정보가 cell state에 저장이 될지 결정하는 게이트 sigmoid layer, tanh layer로 구성
Update Cell State	forget gate와 input gate에서 출력된 값들을 cell state로 업데이트
Output Gate Layer	출력값 결정 단계