Visualizing and Understanding Convolutional Networks(2013) 0. Abstract AlexNet 이후 `Large Convolutional Network` 모델들이 ImageNet bechmark에서 인상적인 classification 성능을 보임 그러나 왜 성능이 좋은지, 어떻게 성능을 개선시켰는지에 대해선 명확하게 이해하지 못함 본 논문에선 Large Convolutional Network의 중간에 있는 feature layers의 기능과 classifier의 작동 과정을 확인하는 새로운 시각화 기법을 제안 해당 visualization 기술이 diagnostic role을 수행하여 AlexNet보다 ImageNet benchmark에서 더 우수한 성능을 ..
ImageNet Classification with Deep Convolutional Neural Networks 0. Abstract ImageNet LSVRC-2010에서 1.2m개의 고해상도 이미지에 대해 1000개의 클래스로 분류하기 위해 large, deep convolutional neural network를 학습 test data에서 이전 SOTA 모델보다 좋은 top-1과 top-5 error rates에서 37.5%와 17.0%를 기록 `AlexNet`에는 약 6,000만개의 파라미터와 65만 개의 neurons가 5개의 convolutional layers로 구성 이에 더해 max-pooling layers와 1000-way softmax로 구성된 3개의 fully-connected l..
Are Transformers Effective for Time Series Forecasting? 0. Abstract `Long-term Time Series Forecasting(LTSF)` 문제의 해결책으로 `Transformer` 기반의 모델들이 급증 Transformers는 틀림없이 long sequence의 요소들의 `semantic correlations`을 추출하는데 가장 성공적인 해결책 그러나 시계열 모델링에서는 연속된 점들의 순서화된 집합에서 시간적 관계를 추출해야 함 Transformers는 ordering information을 보존하는데 용이한 `positional encoding`과 `tokens`을 사용하여 sub-series를 embedding 이 경우 self-attent..
Deep Learning for Anomaly Detection in Time-Series Data: Review, Analysis, and Guidelines(IEEE 2021) 0. Abstract 산업이 자동화되고, 연결 기술이 발전함에 따라 다양한 시스템에서 방대한 양의 데이터가 생성 방대한 데이터에서 전체 시스템의 상태를 나타내는 주요 지표를 추출하기 위해 많은 접근 방식이 제안 이러한 지표를 사용하여 이상 징후를 제 시간에 탐지하면, 잠재적인 사고와 경제적 손실을 방지 다변량 시계열 데이터에서의 `Anomaly Detection`은 시간적 종속성과 변수 간의 관계를 동시에 고려해야하기 때문에 특히 어려운 과제 최근 딥러닝 기반 연구들이 이 분야에서 인상적인 진전을 이룸 이들은 대규모 시퀀스의 ..
`지수평활(exponential smoothing)`과 `ARIMA` 모델은 시계열을 예측할 때 가장 널리 사용하는 두 가지 접근 방식 지수평활 모델은 추세와 계절성에 대한 설명에 기초하고, ARIMA 모델은 데이터에 나타나는 `자기상관(autocorrelation)`을 표현하는 데 목적 정상성(Stationarity)과 차분(Difference) 정상성(Stationarity) `정상성(stationarity)`을 나타내는 시계열은 시계열의 특징이 관측된 시간에 무관 추세나 계절성은 서로 다른 시간에 시계열의 값에 영향을 주기 때문에 추세나 계절성이 있는 시계열은 정상성을 나타내는 시계열이 아님 추세나 계절성은 없지만 주기성 행동을 가지고 있는 시계열은 정상성을 나타내는 시계열 주기가 고정된 길이를 갖..
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting(AAAI 2021) 0. Abstract 전력 소비 계획과 같이 긴 시퀀스 시계열을 예측해야 하는 경우가 실제로 많음 `Long Sequence Time-series Forecasting(LSTF)`은 output과 input 간의 정확한 `long-range dependency` 관계를 효율적으로 파악하는 모델의 높은 예측 능력을 요구 최근 연구에 따르면 `Transformer`가 예측 능력을 향상시킬 수 있는 잠재력을 가진 것으로 나타남 그러나 Transformer에는 `quadratic time complexity`, `high memory usage`, ..
`지수 평활(exponential smoothing)`을 사용하여 얻은 예측값은 과거 관측값의 `가중평균(weighted average)` 과거 관측값은 오래될수록 지수적으로 감소하는 가중치를 갖으며, 가장 최근 관측값이 가장 높은 가중치를 갖음 이러한 방식으로 다양한 종류의 시계열을 가지고 신뢰할만한 예측 작업을 빠르게 수행할 수 있으며, 이는 산업 분야에 응용할 때 매우 중요한 부분 단순 지수평활(Simple Exponential Smoothing) 지수적으로 평활하는 기법 중에서 가장 단순한 방법을 `단순 지수평활(simple exponential smoothing, SES)`라고 함 추세나 계절성이 없는 데이터를 예측할 때 사용하기 좋음 단순 지수평활 기법의 기본 개념은 오래된 관측값보다 더 최근..
시계열 데이터는 다양한 패턴으로 나타날 수 있으며, 이를 몇 가지 성분으로 나누는 작업은 시계열을 이해하는데 도움이 됨 시계열 패턴에는 `추세(trend)`, `계절성(seasonality)`, `주기(cycle)` 3가지가 존재 시계열을 성분으로 나눌 때는 종종 추세와 주기를 결합하여 추세-주기 성분으로 다룸 단순히 추세라고 부르기도 함 결국 시계열은 `추세-주기` 성분, `계절성` 성분, 시계열의 나머지 요소를 포함하는 `나머지(reminder)` 성분으로 구성된다 볼 수 있음 시계열 성분 덧셈 분해(additive decomposition) y_t : 데이터 S_t : 계절 성분 T_t : 추세-주기 성분 R_t : 나머지 성분 y_t, S_t, T_t, R_t 모두 시점 t에서의 양의 값 곱셈 분..
`one-step-ahead`와 `multi-horizon time series` 모두에 사용하는 흔한 encoder와 decoder의 설계를 살펴보고, 각 모델에서 시간 정보가 예측에 통합되는 방식을 확인 잘 학습된 통계 모델과 neural network 구성 요소를 결합하여 두 분야 모두에서 기존 방법을 개선하는 `hybrid deep learning` 모델을 확인 딥러닝이 시계열 데이터의 의사 결정을 지원하는 방법을 촉진할 수 있는 몇 가지 방법도 간략히 소개 1. Introduction 시계열 모델링은 역사적으로 climate modeling, biological sciences, medicine, 유통 및 금융에서의 commercial decision making 등의 영역에서 주요한 연구 분야..
시계열 y를 예측할 때 이것이 다른 시계열 x와 선형 관계가 있다고 가정 `목표 예상변수(forecast variable)` : y(= 회귀선, 종속 변수, 피설명 변수) `예측변수(predictor variables)` : x(= 회귀자, 독립 변수, 설명 변수) 해당 자료에선 항상 y를 "목표 예상(forecast)" 변수, x를 "예측(predictor)" 변수라고 명명 선형 모델 단순 선형 회귀(Simple Linear Regression) 목표 예상변수 y와 하나의 예측변수 x 사이의 선형 관계를 다루는 회귀 모델 B_0 : 직선의 절편으로, x = 0에서 y의 예측값 B_1 : 직선의 기울기로, x가 1만큼 증가했을 때 y의 예측된 변화 e_t : 무작위 오차(error)로 관측값이 기본 직선..
