attention score

Deep Learning

[RNN] Seq2seq Learning - Encoder & Decoder, Attention, Feedforward Neural Network

2023.09.02

Sequence-to-sequence model `Seq2Seq` 모델은 words, letters, features of images 등의 sequence data를 Inputs으로 사용하며 Outputs 또한 또다른 sequence data이다. 여기서 입력에 사용하는 sequence에 해당하는 item의 개수와 출력의 sequence에 해당하는 item의 개수가 동일할 필요는 없다. 이러한 sequence-to-sequence 모델은 번역 머신으로 사용되며 이 경우 sequence는 단어들로 구성되며, output 또한 마찬가지로 단어들로 구성된다. Encoder-Decoder Seq2Seq 모델은 `Encoder`와 `Decoder`로 구성된다. 각각의 역할은 다음과 같다. Encoder : in..

Deep Learning

[RNN] Recurrent Neural Networks and Attention(Introduction)

2023.08.25

시계열 데이터 예측 분석 방법론 트렌드 `시계열 데이터(Time Series Data)`란, 시간의 흐름에 따라 순서대로 관측되어 시간의 영향을 받게 되는 데이터를 말한다. 이러한 시계열 데이터에는 `시계열 단변량 데이터(Univariate time series data)`, `시계열 다변량 데이터(Multivariate time series data)`, `시계열 이미지 데이터(Time series image data)` 등이 있다. 전통 통계 기반 시계열 데이터 분석 방법론 이동평균법(Moving average) 지수평활법(Exponential smoothing) ARIMA(Autoregressive integrated moving average) 모델 SARIMA(Seasonal ARIMA) 모델 ..

[RNN] Seq2seq Learning - Encoder & Decoder, Attention, Feedforward Neural Network

[RNN] Recurrent Neural Networks and Attention(Introduction)

티스토리툴바