DSANet: Dual Self-Attention Network for Multivariate Time Series Forecasting

0. 論文

Journal/Conference: CIKM 2019 Title: DSANet: Dual Self-Attention Network for Multivariate Time Series Forecasting Authors: Huang, Siteng and Wang, Donglin and Wu, Xuehan, Tang, Ao URL: https://dl.acm.org/doi/abs/10.1145/3357384.3358132

1. どんなもの？

self-attention + 時系列予測問題のはじめてと主張する論文 Global な部分とLocalな部分を各CNNで捉え潜在ベクトルを生成し，それらの多変量時系列間の関係を捉えるためにSelf-attentionを用いる最後の出力はRobust性のためにARモデルの出力と合計して予測を行う

2. 先行研究と比べてどこがすごい？

Self-attentionを時系列予測に取り入れた点？

3. 技術や手法のキモはどこ？

Self-attentionを用いようとする部分

4. どうやって有効だと検証した？

ガスステーションデータセットを用いて複数の手法と比較して実験

5. 議論はある？

学習時，ARモデルはすでに学習済のものを用いるのか？ ARモデルの学習はどのようにするのか？同時に学習するのかな？

6.次に読むべき論文は？

Shun-Yao Shih, Fan-Keng Sun, and Hung yi Lee. 2018. Temporal Pattern Attentionfor Multivariate Time Series Forecasting.CoRRabs/1809.04206 (2018)

メモ

AttentionやRNNによる周期的なパターンの取得 → dynamic-periodicやnon-periodicの時系列を対象としたモデルの提案 (DSANet) Global temporal Convolutionとlocal temporal convolutionの2つの畳み込み + self-attention (複数の系列間の関係を捉えるため) を考慮ロバスト性向上のため自己回帰モデルと統合している

1 introduction 時間の依存関係は動的に変化する RNNなどは勾配vanishingの問題などで長期的依存性を捉えることが困難 Attentionを用いた時系列予測の研究例 Guokun Lai, Wei-Cheng Chang, Yiming Yang, and Hanxiao Liu. 2018. ModelingLong- and Short-Term Temporal Patterns with Deep Neural Networks. InSIGIR Shun-Yao Shih, Fan-Keng Sun, and Hung yi Lee. 2018. Temporal Pattern Attentionfor Multivariate Time Series Forecasting.CoRRabs/1809.04206 (2018)

Global Convolution とLocal Convolutionalの2つCNNで情報を獲得し，Attentionを用いて異なる時系列に対する依存性を学習するかれらが言うにはçself-attentionを用いたはじめての研究？

2 Related works 動的周期パターンや非周期パターンに対して取り組んだ研究はこれまでない？

3 PRELIMINARIES 多変量時系列：X (長さT, 変数D)

4 Methodology 2つの表現ベクトルに埋め込み，self-attentionを用いて依存性を捉える，これらの出力とARモデルの集中力を合計して最終的な予測とする・Global Temporal：全時間の畳み込み複数のT × 1の畳み込みフィルタを用いて全時間ステップの普遍パターンを抽出→ D × n_g(フィルター数)

・Local Temporal：短い畳込み長さlの畳み込みを用いて取得：D × n_l (フィルター数)

・Self-attention 得られた各層の出力をself-attentioinを用いて H_L → F_Lを出力

hkefka385 / paper_reading