`지수평활(exponential smoothing)`과 `ARIMA` 모델은 시계열을 예측할 때 가장 널리 사용하는 두 가지 접근 방식 지수평활 모델은 추세와 계절성에 대한 설명에 기초하고, ARIMA 모델은 데이터에 나타나는 `자기상관(autocorrelation)`을 표현하는 데 목적 정상성(Stationarity)과 차분(Difference) 정상성(Stationarity) `정상성(stationarity)`을 나타내는 시계열은 시계열의 특징이 관측된 시간에 무관 추세나 계절성은 서로 다른 시간에 시계열의 값에 영향을 주기 때문에 추세나 계절성이 있는 시계열은 정상성을 나타내는 시계열이 아님 추세나 계절성은 없지만 주기성 행동을 가지고 있는 시계열은 정상성을 나타내는 시계열 주기가 고정된 길이를 갖..
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting(AAAI 2021) 0. Abstract 전력 소비 계획과 같이 긴 시퀀스 시계열을 예측해야 하는 경우가 실제로 많음 `Long Sequence Time-series Forecasting(LSTF)`은 output과 input 간의 정확한 `long-range dependency` 관계를 효율적으로 파악하는 모델의 높은 예측 능력을 요구 최근 연구에 따르면 `Transformer`가 예측 능력을 향상시킬 수 있는 잠재력을 가진 것으로 나타남 그러나 Transformer에는 `quadratic time complexity`, `high memory usage`, ..
`지수 평활(exponential smoothing)`을 사용하여 얻은 예측값은 과거 관측값의 `가중평균(weighted average)` 과거 관측값은 오래될수록 지수적으로 감소하는 가중치를 갖으며, 가장 최근 관측값이 가장 높은 가중치를 갖음 이러한 방식으로 다양한 종류의 시계열을 가지고 신뢰할만한 예측 작업을 빠르게 수행할 수 있으며, 이는 산업 분야에 응용할 때 매우 중요한 부분 단순 지수평활(Simple Exponential Smoothing) 지수적으로 평활하는 기법 중에서 가장 단순한 방법을 `단순 지수평활(simple exponential smoothing, SES)`라고 함 추세나 계절성이 없는 데이터를 예측할 때 사용하기 좋음 단순 지수평활 기법의 기본 개념은 오래된 관측값보다 더 최근..
시계열 데이터는 다양한 패턴으로 나타날 수 있으며, 이를 몇 가지 성분으로 나누는 작업은 시계열을 이해하는데 도움이 됨 시계열 패턴에는 `추세(trend)`, `계절성(seasonality)`, `주기(cycle)` 3가지가 존재 시계열을 성분으로 나눌 때는 종종 추세와 주기를 결합하여 추세-주기 성분으로 다룸 단순히 추세라고 부르기도 함 결국 시계열은 `추세-주기` 성분, `계절성` 성분, 시계열의 나머지 요소를 포함하는 `나머지(reminder)` 성분으로 구성된다 볼 수 있음 시계열 성분 덧셈 분해(additive decomposition) y_t : 데이터 S_t : 계절 성분 T_t : 추세-주기 성분 R_t : 나머지 성분 y_t, S_t, T_t, R_t 모두 시점 t에서의 양의 값 곱셈 분..
`one-step-ahead`와 `multi-horizon time series` 모두에 사용하는 흔한 encoder와 decoder의 설계를 살펴보고, 각 모델에서 시간 정보가 예측에 통합되는 방식을 확인 잘 학습된 통계 모델과 neural network 구성 요소를 결합하여 두 분야 모두에서 기존 방법을 개선하는 `hybrid deep learning` 모델을 확인 딥러닝이 시계열 데이터의 의사 결정을 지원하는 방법을 촉진할 수 있는 몇 가지 방법도 간략히 소개 1. Introduction 시계열 모델링은 역사적으로 climate modeling, biological sciences, medicine, 유통 및 금융에서의 commercial decision making 등의 영역에서 주요한 연구 분야..
시계열 y를 예측할 때 이것이 다른 시계열 x와 선형 관계가 있다고 가정 `목표 예상변수(forecast variable)` : y(= 회귀선, 종속 변수, 피설명 변수) `예측변수(predictor variables)` : x(= 회귀자, 독립 변수, 설명 변수) 해당 자료에선 항상 y를 "목표 예상(forecast)" 변수, x를 "예측(predictor)" 변수라고 명명 선형 모델 단순 선형 회귀(Simple Linear Regression) 목표 예상변수 y와 하나의 예측변수 x 사이의 선형 관계를 다루는 회귀 모델 B_0 : 직선의 절편으로, x = 0에서 y의 예측값 B_1 : 직선의 기울기로, x가 1만큼 증가했을 때 y의 예측된 변화 e_t : 무작위 오차(error)로 관측값이 기본 직선..
데이터 분석 작업에서 가장 먼저 해야하는 것은 데이터를 그래프로 나타내는 것 그래프는 패턴, 특이한 관측값, 시간에 따른 변화, 변수 사이의 관계 등의 데이터의 많은 특징을 눈으로 볼 수 있게 해줌 데이터를 그림으로 나타낸 그래프에서 보이는 특징은 사용할 예측 기법에 반드시 포함되어야 함 시계열 패턴 `추세(trend)` 데이터가 장기적으로 증가하거나 감소할 때, 추세가 존재 선형적일 필요는 x `계절성(seasonality)` 해마다 어떤 특정한 때나 일주일마다 특정 요일에 나타나는 것 같은 계절성 요인이 시계열에 영향을 주는 경우 계절성은 빈도의 형태로 나타나는데, 빈도는 항상 일정하며 알려져 있음 빈도가 변하지 않고 연중 어떤 시기와 연관되어 있는 요동 `빈도(frequency)`는 계절성 패턴이 ..
Don't Stop Pretraining: Adapt Language Models to Domains and Tasks 0. Abstract 다양한 source의 text로 pre-training을 수행한 모델은 오늘날 NLP의 토대를 형성 pre-trained model을 target task의 도메인에 맞게 조정하는 것이 여전히 도움이 되는지 확인 4개의 도메인(biomedical, computer science publications, news, reviews)과 8개의 classification task를 통해 study `domain-adaptive pretraining`이 리소스가 많은 환경과 적은 환경 모두에서 성능 향상을 이루어냄을 보임 unlabeled data에 adapting 하는 `..
BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension 0. Abstract sequence-to-sequence model을 pre-training하기 위한 denoising autoencoder, `BART`를 제안 BART는 두 가지 과정을 통해 학습 임의의 `noising function`을 통해 text를 손상 손상된 text를 통해 original text를 재구성하며 모델을 학습 단순함에도 불구하고 BERT(bidirectional encoder로 인해), GPT(left-to-right decoder) 등 현재의 최신 pre-training 체..
Language Models are Unsupervised Multitask Learners 0. Abstract Question Answering, Machine Translation, Reading Comprehension, Summarization 등의 NLP task들은 task-specific dataset을 통한 Supervised Learning을 활용 수백 만개의 webpage들로 구성된 `WebText`라는 dataset을 통해 train할 때 Language Model이 명시적인 supervision 없이도 이러한 task들을 수행하기 시작한다는 것을 입증 Language Model의 용량은 `zero-shot` task transfer의 성공에 매우 필수적이며, 이것이 개선되면 작업 ..
