Journal/Conference: Arxive 2020
Title: Zero-shot and few-shot time series forecasting with ordinal regression recurrent neural networks
Authors: Bernardo Pérez Orozco, Stephen J Roberts
URL: https://arxiv.org/abs/2003.12162
本実験で基礎となったモデル：MOrdReD：Bernardo Pe ́rez Orozco, Gabriele Abbati, and Stephen Roberts. “MOrdReD: Memory-based Ordinal Regression Deep Neural Networks for Time Series Forecasting”. In: arXiv:1803.09704 (2018).
Related works
画像系だとImageNetやAlexNet VGGNetなどの訓練済の学習器が用いられている
時系列の転移学習は多くないよね
GPなどで不確実性の推定が行われる
2 Methodology
joint Memory-endowed Original Regression Deep Network (MOrdReD)の推論で構成
MOrdReD：Bernardo Pe ́rez Orozco, Gabriele Abbati, and Stephen Roberts. “MOrdReD: Memory-based Ordinal Regression Deep Neural Networks for Time Series Forecasting”. In: arXiv:1803.09704 (2018).
cross-task features embeddingのための手法
2.1 Memory-endowed Ordinal Regression Deep Neural Networks
Mの部分空間に離散化して1 of M schemeを用いてencoding / discrete symbol sequenceに変換するというらしい
Monte Ca®lo Dropoutを通して事後分布を推定
2.2 A general unified model for time series forecasting (GUM)
https://github.com/bperezorozco/ordinal_tsf
20の異なる補助時系列を事前に学習させcross-task埋め込みを獲得
以下の文献を入れることでさらなる発展が望める？：Jan-Peter Calliess. “Bayesian Lipschitz Constant Estimation and Quadrature”. In: Advances in Neural Information Processing Systems. 2015.
0. 論文
Journal/Conference: Arxive 2020 Title: Zero-shot and few-shot time series forecasting with ordinal regression recurrent neural networks Authors: Bernardo Pérez Orozco, Stephen J Roberts URL: https://arxiv.org/abs/2003.12162
1. どんなもの？
時系列予測においてRNNなどの深層学習モデルでは十分なデータが存在しないとOverfittingするという問題を解決するために，画像や言語などで多く用いられている学習済みモデルの考え方を時系列予測のも導入 MOrdRedという時系列予測モデルを複数の時系列で事前学習するモデルを提案
2. 先行研究と比べてどこがすごい？
時系列予測に学習済みモデルの適応を行おうとした点
3. 技術や手法のキモはどこ？
4. どうやって有効だと検証した？
Few-shot learningとZero-shot learningのタスク設定行いモデルの予測性能を評価
5. 議論はある？
・MOrdRedのモデルの内部が分からなければ可視化部分の意味がわからない ・学習済モデルを用いるとしてもタスク的な近さがどの程度必要なのかなどの議論は必要そう
6.次に読むべき論文は？
本実験で基礎となったモデル：MOrdReD：Bernardo Pe ́rez Orozco, Gabriele Abbati, and Stephen Roberts. “MOrdReD: Memory-based Ordinal Regression Deep Neural Networks for Time Series Forecasting”. In: arXiv:1803.09704 (2018).
メモ
データ数が少ない時にも扱えるRNNフレームワークの提案
1 Introduction 十分なデータがないとoverfittingする 複数の予測タスク間で共有された特徴表現を学習し，この知識を不十分な環境にも適用する 埋め込みの可視化フレームワークも提供
Related works 画像系だとImageNetやAlexNet VGGNetなどの訓練済の学習器が用いられている 時系列の転移学習は多くないよね GPなどで不確実性の推定が行われる
2 Methodology joint Memory-endowed Original Regression Deep Network (MOrdReD)の推論で構成 MOrdReD：Bernardo Pe ́rez Orozco, Gabriele Abbati, and Stephen Roberts. “MOrdReD: Memory-based Ordinal Regression Deep Neural Networks for Time Series Forecasting”. In: arXiv:1803.09704 (2018). cross-task features embeddingのための手法
2.1 Memory-endowed Ordinal Regression Deep Neural Networks Mの部分空間に離散化して1 of M schemeを用いてencoding / discrete symbol sequenceに変換するというらしい Monte Ca®lo Dropoutを通して事後分布を推定
2.2 A general unified model for time series forecasting (GUM) https://github.com/bperezorozco/ordinal_tsf 20の異なる補助時系列を事前に学習させcross-task埋め込みを獲得 以下の文献を入れることでさらなる発展が望める？：Jan-Peter Calliess. “Bayesian Lipschitz Constant Estimation and Quadrature”. In: Advances in Neural Information Processing Systems. 2015.
3 Experiments 3.1 Zero-shot forecasting 2つのデータセットコレクションを使用 ・ GUM ordinal regression neural networkでフィットされたデータセット ・M4 competition dataset
3.2 クラスタごとの可視化
4 Conclusion 補助時系列から知識を学習し定量化スキーム( quantisation scheme)を導入することでどのようにtransferできるかを実験で示す