π Time Series/Forecasting
Are Transformers Effective for Time Series Forecasting? 0. Abstract `Long-term Time Series Forecasting(LTSF)` λ¬Έμ μ ν΄κ²°μ±
μΌλ‘ `Transformer` κΈ°λ°μ λͺ¨λΈλ€μ΄ κΈμ¦ Transformersλ νλ¦Όμμ΄ long sequenceμ μμλ€μ `semantic correlations`μ μΆμΆνλλ° κ°μ₯ μ±κ³΅μ μΈ ν΄κ²°μ±
κ·Έλ¬λ μκ³μ΄ λͺ¨λΈλ§μμλ μ°μλ μ λ€μ μμνλ μ§ν©μμ μκ°μ κ΄κ³λ₯Ό μΆμΆν΄μΌ ν¨ Transformersλordering informationμ 보쑴νλλ° μ©μ΄ν `positional encoding`κ³Ό `tokens`μ μ¬μ©νμ¬ sub-seriesλ₯Ό embedding μ΄ κ²½μ° self-attent..
π Time Series/Forecasting
`μ§μνν(exponential smoothing)`κ³Ό `ARIMA` λͺ¨λΈμ μκ³μ΄μ μμΈ‘ν λ κ°μ₯ λ리 μ¬μ©νλ λ κ°μ§ μ κ·Ό λ°©μ μ§μνν λͺ¨λΈμ μΆμΈμ κ³μ μ±μ λν μ€λͺ
μ κΈ°μ΄νκ³ , ARIMA λͺ¨λΈμ λ°μ΄ν°μ λνλλ `μκΈ°μκ΄(autocorrelation)`μ νννλ λ° λͺ©μ μ μμ±(Stationarity)κ³Ό μ°¨λΆ(Difference) μ μμ±(Stationarity) `μ μμ±(stationarity)`μ λνλ΄λ μκ³μ΄μ μκ³μ΄μ νΉμ§μ΄ κ΄μΈ‘λ μκ°μ λ¬΄κ΄ μΆμΈλ κ³μ μ±μ μλ‘ λ€λ₯Έ μκ°μ μκ³μ΄μ κ°μ μν₯μ μ£ΌκΈ° λλ¬Έμ μΆμΈλ κ³μ μ±μ΄ μλ μκ³μ΄μ μ μμ±μ λνλ΄λ μκ³μ΄μ΄ μλ μΆμΈλ κ³μ μ±μ μμ§λ§ μ£ΌκΈ°μ± νλμ κ°μ§κ³ μλ μκ³μ΄μ μ μμ±μ λνλ΄λ μκ³μ΄ μ£ΌκΈ°κ° κ³ μ λ κΈΈμ΄λ₯Ό κ°..
π Time Series/Forecasting
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting(AAAI 2021) 0. Abstract μ λ ₯ μλΉ κ³νκ³Ό κ°μ΄ κΈ΄ μνμ€ μκ³μ΄μ μμΈ‘ν΄μΌ νλ κ²½μ°κ° μ€μ λ‘ λ§μ `Long Sequence Time-series Forecasting(LSTF)`μ outputκ³Ό input κ°μ μ νν `long-range dependency` κ΄κ³λ₯Ό ν¨μ¨μ μΌλ‘ νμ
νλ λͺ¨λΈμ λμ μμΈ‘ λ₯λ ₯μ μꡬ μ΅κ·Ό μ°κ΅¬μ λ°λ₯΄λ©΄ `Transformer`κ° μμΈ‘ λ₯λ ₯μ ν₯μμν¬ μ μλ μ μ¬λ ₯μ κ°μ§ κ²μΌλ‘ λνλ¨ κ·Έλ¬λ Transformerμλ `quadratic time complexity`, `high memory usage`, ..
π Time Series/Forecasting
`μ§μ νν(exponential smoothing)`μ μ¬μ©νμ¬ μ»μ μμΈ‘κ°μ κ³Όκ±° κ΄μΈ‘κ°μ `κ°μ€νκ· (weighted average)` κ³Όκ±° κ΄μΈ‘κ°μ μ€λλ μλ‘ μ§μμ μΌλ‘ κ°μνλ κ°μ€μΉλ₯Ό κ°μΌλ©°, κ°μ₯ μ΅κ·Ό κ΄μΈ‘κ°μ΄ κ°μ₯ λμ κ°μ€μΉλ₯Ό κ°μ μ΄λ¬ν λ°©μμΌλ‘ λ€μν μ’
λ₯μ μκ³μ΄μ κ°μ§κ³ μ λ’°ν λ§ν μμΈ‘ μμ
μ λΉ λ₯΄κ² μνν μ μμΌλ©°, μ΄λ μ°μ
λΆμΌμ μμ©ν λ λ§€μ° μ€μν λΆλΆ λ¨μ μ§μνν(Simple Exponential Smoothing) μ§μμ μΌλ‘ νννλ κΈ°λ² μ€μμ κ°μ₯ λ¨μν λ°©λ²μ `λ¨μ μ§μνν(simple exponential smoothing, SES)`λΌκ³ ν¨ μΆμΈλ κ³μ μ±μ΄ μλ λ°μ΄ν°λ₯Ό μμΈ‘ν λ μ¬μ©νκΈ° μ’μ λ¨μ μ§μνν κΈ°λ²μ κΈ°λ³Έ κ°λ
μ μ€λλ κ΄μΈ‘κ°λ³΄λ€ λ μ΅κ·Ό..
π Time Series/Forecasting
μκ³μ΄ λ°μ΄ν°λ λ€μν ν¨ν΄μΌλ‘ λνλ μ μμΌλ©°, μ΄λ₯Ό λͺ κ°μ§ μ±λΆμΌλ‘ λλλ μμ
μ μκ³μ΄μ μ΄ν΄νλλ° λμμ΄ λ¨ μκ³μ΄ ν¨ν΄μλ `μΆμΈ(trend)`, `κ³μ μ±(seasonality)`, `μ£ΌκΈ°(cycle)` 3κ°μ§κ° μ‘΄μ¬ μκ³μ΄μ μ±λΆμΌλ‘ λλ λλ μ’
μ’
μΆμΈμ μ£ΌκΈ°λ₯Ό κ²°ν©νμ¬ μΆμΈ-μ£ΌκΈ° μ±λΆμΌλ‘ λ€λ£Έ λ¨μν μΆμΈλΌκ³ λΆλ₯΄κΈ°λ ν¨ κ²°κ΅ μκ³μ΄μ `μΆμΈ-μ£ΌκΈ°` μ±λΆ, `κ³μ μ±` μ±λΆ, μκ³μ΄μ λλ¨Έμ§ μμλ₯Ό ν¬ν¨νλ `λλ¨Έμ§(reminder)` μ±λΆμΌλ‘ ꡬμ±λλ€ λ³Ό μ μμ μκ³μ΄ μ±λΆ λ§μ
λΆν΄(additive decomposition) y_t : λ°μ΄ν° S_t : κ³μ μ±λΆ T_t : μΆμΈ-μ£ΌκΈ° μ±λΆ R_t : λλ¨Έμ§ μ±λΆ y_t, S_t, T_t, R_t λͺ¨λ μμ tμμμ μμ κ° κ³±μ
λΆ..
π Time Series/Forecasting
`one-step-ahead`μ `multi-horizon time series` λͺ¨λμ μ¬μ©νλ νν encoderμ decoderμ μ€κ³λ₯Ό μ΄ν΄λ³΄κ³ , κ° λͺ¨λΈμμ μκ° μ λ³΄κ° μμΈ‘μ ν΅ν©λλ λ°©μμ νμΈ μ νμ΅λ ν΅κ³ λͺ¨λΈκ³Ό neural network κ΅¬μ± μμλ₯Ό κ²°ν©νμ¬ λ λΆμΌ λͺ¨λμμ κΈ°μ‘΄ λ°©λ²μ κ°μ νλ `hybrid deep learning` λͺ¨λΈμ νμΈ λ₯λ¬λμ΄ μκ³μ΄ λ°μ΄ν°μ μμ¬ κ²°μ μ μ§μνλ λ°©λ²μ μ΄μ§ν μ μλ λͺ κ°μ§ λ°©λ²λ κ°λ΅ν μκ° 1. Introduction μκ³μ΄ λͺ¨λΈλ§μ μμ¬μ μΌλ‘ climate modeling, biological sciences, medicine, μ ν΅ λ° κΈμ΅μμμ commercial decision making λ±μ μμμμ μ£Όμν μ°κ΅¬ λΆμΌ..
π Time Series/Forecasting
μκ³μ΄ yλ₯Ό μμΈ‘ν λ μ΄κ²μ΄ λ€λ₯Έ μκ³μ΄ xμ μ ν κ΄κ³κ° μλ€κ³ κ°μ `λͺ©ν μμλ³μ(forecast variable)` : y(= νκ·μ , μ’
μ λ³μ, νΌμ€λͺ
λ³μ) `μμΈ‘λ³μ(predictor variables)` : x(= νκ·μ, λ
립 λ³μ, μ€λͺ
λ³μ) ν΄λΉ μλ£μμ νμ yλ₯Ό "λͺ©ν μμ(forecast)" λ³μ, xλ₯Ό "μμΈ‘(predictor)" λ³μλΌκ³ λͺ
λͺ
μ ν λͺ¨λΈ λ¨μ μ ν νκ·(Simple Linear Regression) λͺ©ν μμλ³μ yμ νλμ μμΈ‘λ³μ x μ¬μ΄μ μ ν κ΄κ³λ₯Ό λ€λ£¨λ νκ· λͺ¨λΈ B_0 : μ§μ μ μ νΈμΌλ‘, x = 0μμ yμ μμΈ‘κ° B_1 : μ§μ μ κΈ°μΈκΈ°λ‘, xκ° 1λ§νΌ μ¦κ°νμ λ yμ μμΈ‘λ λ³ν e_t : 무μμ μ€μ°¨(error)λ‘ κ΄μΈ‘κ°μ΄ κΈ°λ³Έ μ§μ ..
π Time Series/Forecasting
λ°μ΄ν° λΆμ μμ
μμ κ°μ₯ λ¨Όμ ν΄μΌνλ κ²μ λ°μ΄ν°λ₯Ό κ·Έλνλ‘ λνλ΄λ κ² κ·Έλνλ ν¨ν΄, νΉμ΄ν κ΄μΈ‘κ°, μκ°μ λ°λ₯Έ λ³ν, λ³μ μ¬μ΄μ κ΄κ³ λ±μ λ°μ΄ν°μ λ§μ νΉμ§μ λμΌλ‘ λ³Ό μ μκ² ν΄μ€ λ°μ΄ν°λ₯Ό κ·Έλ¦ΌμΌλ‘ λνλΈ κ·Έλνμμ 보μ΄λ νΉμ§μ μ¬μ©ν μμΈ‘ κΈ°λ²μ λ°λμ ν¬ν¨λμ΄μΌ ν¨ μκ³μ΄ ν¨ν΄ `μΆμΈ(trend)` λ°μ΄ν°κ° μ₯κΈ°μ μΌλ‘ μ¦κ°νκ±°λ κ°μν λ, μΆμΈκ° μ‘΄μ¬ μ νμ μΌ νμλ x `κ³μ μ±(seasonality)` ν΄λ§λ€ μ΄λ€ νΉμ ν λλ μΌμ£ΌμΌλ§λ€ νΉμ μμΌμ λνλλ κ² κ°μ κ³μ μ± μμΈμ΄ μκ³μ΄μ μν₯μ μ£Όλ κ²½μ° κ³μ μ±μ λΉλμ ννλ‘ λνλλλ°, λΉλλ νμ μΌμ νλ©° μλ €μ Έ μμ λΉλκ° λ³νμ§ μκ³ μ°μ€ μ΄λ€ μκΈ°μ μ°κ΄λμ΄ μλ μλ `λΉλ(frequency)`λ κ³μ μ± ν¨ν΄μ΄ ..