2
古典的統計時系列のrelated worksの概観が参考になる
VARモデルのOverfittingなどを引き起こす高次元性を解決するために低次元に落とし込んで正規化をして安定した予測をしようとする？：H.-F. Yu, N. Rao, and I. S. Dhillon. Temporal regularized matrix factorization for high-dimensional time series prediction. In Advances in Neural Information Processing Systems, pages 847–855, 2016.
Gaussian Processの時系列予測適用：R. Frigola, F. Lindsten, T. B. Schön, and C. E. Rasmussen. Bayesian inference and learning in gaussian process state-space models with particle mcmc. In Advances in Neural Information Processing Systems, pages 3156–3164, 2013.
0. 論文
Journal/Conference: SIGIR2018 Title: Modeling Long- and Short-Term Temporal Patterns with DeepNeural Networks Authors: Guokun Lai, Wei-Cheng Chang, Yiming Yang, Hanxiao Liu URL: https://arxiv.org/abs/1703.07015
1. どんなもの？
Attentionを時系列予測問題に(初めて？)取り組んだ． 時系列の長期パターンをRNN-skip / Attentionで読み取り，短期的パターンをCNNで読み取り，古典的時系列手法のARと組み合わせた時系列予測モデルを提案
2. 先行研究と比べてどこがすごい？
Attentionと時系列予測の組み合わせ： RNN-skipという長期時系列のための1種のRNNを提案 / また，RNN-skipの代替案として似たパターンの表現をうまく獲得するためにAttentionを導入することを提案
3. 技術や手法のキモはどこ？
RNN-skipを導入した点 ARを組み合わせて局所的なスケーリングに対し対応した点
4. どうやって有効だと検証した？
4つのデータセットを用いて，予測精度を確認し検証 Ablation studyを行い提案モデルの各コンポーネントの効果を検証
5. 議論はある？
パターンが多くない時系列 (Exchange-rateデータセット)では提案モデルの効果が発揮せず ARモデルの依然とした有効性を示した点が面白い
6.次に読むべき論文は？
メモ
多変量時系列予測問題 (太陽光や交通など)に対しLong- and Short-term Time-series network (LSTNet)を提案：RNNとCNNの組みあせたモデル 反復パターンの多い問題に適したモデル？
1 短期と長期の繰り返しパターンの組み合わせ 例：日次と週次の2つのパターン 例：太陽光発電の夏と冬のパターン差と日にちのパターン →今までこの2種類のパターンをあまり考慮していない Recurrent-skip: 長期的な依存関係 Convolution-layer: 短期的な依存関係 自己回帰線形モデルに組み込みロバスト性を持つようにする
2 古典的統計時系列のrelated worksの概観が参考になる VARモデルのOverfittingなどを引き起こす高次元性を解決するために低次元に落とし込んで正規化をして安定した予測をしようとする？：H.-F. Yu, N. Rao, and I. S. Dhillon. Temporal regularized matrix factorization for high-dimensional time series prediction. In Advances in Neural Information Processing Systems, pages 847–855, 2016. Gaussian Processの時系列予測適用：R. Frigola, F. Lindsten, T. B. Schön, and C. E. Rasmussen. Bayesian inference and learning in gaussian process state-space models with particle mcmc. In Advances in Neural Information Processing Systems, pages 3156–3164, 2013.
3 モデル CNNで獲得したlocalの潜在表現をRNNとRNN-skipを通して潜在表現を学習 RNN: 1期前からデータを受け取る RNN-skip：p期前 (周期性を持つ)からデータを受け取る このハイパーパラメータpを決定する必要がある→attentionを用いて似た動きの潜在的表現を獲得する代替的手法 LSTNetの最終予測を、主に局所的なスケーリングの問題に焦点を当てた線形部分と、反復的なパターンを含む非線形部分に分解 線形部分をARを用いて予測
実験結果： Exchange-rateデータセットではよくない結果？なぜ 長期・短期の依存性パターンがデータ中に存在する場合のモデル化に成功 / exchangeのような周期性の薄いデータでは古典的手法と大きく変わらない
Ablation studyがあり AR componentがうまく効いている：データのスケール変化にRobust
課題： RNN-skipのpを自動的にどのように決定するのか？ 変数に属性情報などが存在した場合どのように扱うのか？
Code: https://github.com/laiguokun/LSTNet