[RNN] Recurrent Neural Networks and Attention(Introduction)

시계열 데이터 예측 분석 방법론 트렌드

시계열 데이터(Time Series Data)란, 시간의 흐름에 따라 순서대로 관측되어 시간의 영향을 받게 되는 데이터를 말한다. 이러한 시계열 데이터에는 시계열 단변량 데이터(Univariate time series data), 시계열 다변량 데이터(Multivariate time series data), 시계열 이미지 데이터(Time series image data) 등이 있다.

Time Series Data

전통 통계 기반 시계열 데이터 분석 방법론

• 이동평균법(Moving average)
• 지수평활법(Exponential smoothing)
• ARIMA(Autoregressive integrated moving average) 모델
• SARIMA(Seasonal ARIMA) 모델
• Binary variable model(해당 시점만 1, 나머지는 0으로 변환)
• Trigonometric model(sine과 cosine 함수의 조합으로 표현)
• Growth curve model
• Autoregressive integrated moving average exogenous(ARIMAX) (X변수를 이용하여 시계열 Y 예측)
• Prophet 등

머신러닝 기반 시계열 데이터 분석 방법론

• Support Vector Machine/regression
• Random forest
• Boosting
• Gaussian process
• Hidden Markov model(HMM)

인공지능 기반 시계열 데이터 분석 방법론

• Recurrent Neural Networks(RNN) (1986)
• LSTM (1997)
• GRU (2014)
• Seq2Seq (NIPS 2014)
• Seq2Seq with attention (ICLR 2015)
• CNN and variants (2016)
• Transformer (NIPS 2017)
• GPT-1 (2018), BERT (2019), GPT-3 (2020) 등등의 Transformer 계열 모델

Recurrent Neural Network(RNN)

순환 신경망(Recurrent Neural Network, RNN)이란, 이전 시점 정보들을 반영하여 시계열 데이터 모델링에 적합한 인공신경망 모델을 말한다. 기존에 인공 신경망(DNN)의 경우 시계열을 반영하지 않기 때문에 t 시점의 어떤 값을 예측할 때 현 시점 정보만 이용을 하게된다. 그러나 시계열을 반영하는 RNN의 경우 t 시점에 예측을 할 때 이전 시점 정보인 t-1, t-2 등의 시점을 반영하여 더 정확하게 t 시점의 예측을 수행한다.

DNN & RNN

RNN에서 이전 시점들의 정보를 반영하는 방법은 다음과 같다. t 시점에는 t-1 시점의 hidden state를 더해서 활용하고, 여기서 t-1 시점의 hidden state는 t-2 시점의 hidden state를 반영하므로 결과적으로 t 시점의 예측을 수행하는데 t-1 시점과 t-2 시점을 모두 반영하게 되었다. 그러나 시점이 총 3개만 있는 것이 아니라 계속 이어지기 때문에, 이는 계속해서 반복하게 되고 결국 이른 Recurrent(순환, 반복)라고 명칭하게 된 것이다. 여기서 중요한 점은, 해당 모델의 파라미터(가중치, W_xh와 W_hh)들은 시점마다 모두 동일하다.

t-2 시점까지의 반영(좌)과 전체 시점의 반영(우)

RNN의 구조의 종류

순환 신경망의 구조의 종류는 다음과 같다. 순환 신경망은 순차적으로 입력하고, 순차적으로 예측하는 것이 가능하며 순차적인 입력의 길이와 순차적인 예측의 길이에 따라 구분된다.

순환 신경망의 구조의 종류

• Many to one 구조 : 여러 시점의 X로 하나의 Y를 에측하는 문제
  • ex) 여러 시점에 다변량 센서 데이터가 주어졌을 때 특정 시점의 제품 상태를 예측
• One to many 구조 : 단일 시점 X로 순차적인 Y를 에측하는 문제
  • ex) 이미지 데이터가 주어졌을 때, 이미지에 대한 정보를 글로 생성하는 이미지 캡셔닝
• Many to many 구조 : 순차적인 X로 순차적인 Y를 예측하는 문제
  • ex) 문장이 주어졌을 때, 각 단어의 품사를 예측하는 Part of sppech(POS) Tagging
  • Encoder-Decoder 구조(4번째 figure) → Seq2Seq 
    • ex) 영어 문장이 주어졌을 때, 한글문장으로 번역

Attention Mechanism(Seq2seq 구조의 한계점)

'I Love You'라는 영어 문장을 '나는 너를 사랑해'라는 한글 문장으로 번역하는 Encoder-Decoder 구조를 생각해보자. 여기서 Seq2seq의 한계점이 드러나는데, 각 단어('나는', '너를', '사랑해')를 예측할 시 더 중요하게 집중해야하는 Encoder 부분 단어가 다른데 Decoder가 단어를 예측할 때 Encoder의 마지막 시점 은닉층 정보를 나타내는 context vector만을 활용하기 때문에 이를 반영할 수 없다.

Seq2seq 구조의 한계점

따라서 이를 해결하기 위해 Decoder에서 단어 예측 시 Encoder의 매 시점 정보를 참고하기 위해 Decoder의 매 시점마다 Context Vector를 다르게 만들고,  중요한 단어는 더 집중해서 봐야한다. 여기서 중요도는 곧 유사도를 의미하기 때문에, 이를 측정하기 위해서 다양한 방법이 있지만 대표적으로 내적을 활용한다. 먼저 Encoder와 Decoder의 각 시점 별 hidden state들의 내적 값을 계산한 후 softmax 함수를 활용해서 이를 확률 값으로 표현한다. 이를 통해 확률 값이 높은 시점의 데이터의 중요도가 더 높다고 판단한다. 해당 예시에서는 당연히 '나는'을 번역할 때 'I'가 가장 유사도가 높으면서 중요도가 높기 때문에 가장 높은 가중치 0.9가 생성되었다.

hidden state의 내적 및 softmax 함수를 통한 확률 값 계산

이후 Decoder의 '나는'이라는 문장을 번역하기 위해 Encoder의 'I', 'Love', 'You' 각 시점에 각각의 확률 값을 가중치로 활용하여 Decoder의 매 시점마다 새로운 Context Vector를 생성한다. 이는 가중치 없이 'I', 'Love', 'You'를 모두 활용해서 Context Vector를 생성하는 Seq2seq와 차이가 있다.  여기서 가중치가 바로 Attention score이다.  이 Attention score를 통해 각 시점마다 Attention mechanism 과정에서 어디가 중요한지를 도출해낼 수 있다. 이를 통해 모델이 예측에 주요하게 집중한 부분을 정량적으로 해석할 수 있다. 특히 Attention mechanism은 각 관측치별 중요도를 도출 가능하므로 원인이자 규명을 명확히 할 수 있다.

---

이 포스팅은 고려대학교 산업경영공학부 김성범 교수님 유튜의 핵심 머신러닝 강의를 듣고 작성한 글입니다.

(이미지 출처 : 핵심 머신러닝)