分割された複数の成分をマルチタスクとマルチビューどちら側に入力させるか？の判断はまだ十分にできていない (現状はk-meansクラスタリングを用いて分割している / 参照：Understanding the importance of intrinsic mode functions )
→そもそも、2つのモジュールに対する入力を異なるものにするべき理由はあるのか？
・Multi-view learningって何？論文を読んでもなんのためにするのか分からなかったのでちょっと調べたい
6.次に読むべき論文は？
Khandelwal, I.; Adhikari, R.; and Verma, G. 2015. Time series fore- casting using hybrid arima and ann models based on dwt decomposition. Procedia Computer Science 48:173–179.
提案：マルチタスクとマルチビューを組み合わせた共同訓練目的関数を組み込んだself-boosted modelの提案
キーとなる考え方：元の時系列を構成要素に分解 (Empirical Ensemble Decomposition (EEMD)によって)→分解した時系列をclosely related groupsとloosely related groupsに分解
Cloosely はマルチタスク学習に，looselyはマルチビュー学習に利用
信号処理 (EEMD)をマルチタスクとマルチビューに組み入れて時系列予測を行う新しい取り組み
2 Related works
古典的時系列の手法
非線形動的ボルツマシンの利用︰Dasgupta, S., and Osogami, T. 2017. Nonlinear dynamic boltzmann machines for time- series prediction. In Thirty-First AAAI Conference on Artifi- cial Intelligence.
時間的グラフの正則化手法︰Yu,H.-F.;Rao,N.;andDhillon, I. S. 2016. Temporal regularized matrix factorization for high-dimensional time series prediction. In Advances in neural information processing systems, 847–855.
異なる時間スケールを学習した多変数スタック型LSTMの提案？：Liang, S.; Nguyen, L.; and Jin, F. 2018. A multi-variable stacked long-short term mem- ory network for wind speed forecasting. In 2018 IEEE In- ternational Conference on Big Data (Big Data), 4561–4564. IEEE.
→これらの研究のほとんどはドメイン固有の特徴が重要となる
が，外部情報が存在しない予測モデルによってときたい場合も存在する
信号処理
差分学習の強化版じゃん / DWTを用いて時系列を線形成分と非線形成分に分解してそれぞれ別のモデルで予測︰Khandelwal, I.; Adhikari, R.; and Verma, G. 2015. Time series fore- casting using hybrid arima and ann models based on dwt decomposition. Procedia Computer Science 48:173–179.
Ensemble Mode decomposition holw-winterの利用︰Awajan, A. M.; Ismail, M. T.; and Wadi, S. A. 2018. Improving forecasting ac- curacy for stock market data using emd-hw bagging. PloS one 13(7):e0199582.
ensemble empirical mode decomposition (EEMD) with the LSTM modelの利用︰Wu, Y.-X.; Wu, Q.-B.; and Zhu, J.- Q. 2019. Improved eemd-based crude oil price forecasting using lstm networks. Physica A: Statistical Mechanics and its Applications 516:114–124.
→本研究では，EEMD + miulti-task / mult-viewに基づく深層学習モデルの提案
3 Problem Formulation
元の時系列をIMFに分解→元の時系列と類似している固有モード関数をグループ化しマルチタスクモデルを構築
マルチタスクでは選択された固有モード関数の予測をおいこない，残りの固有モード関数はmulti-view moduleのために用いられる
・From time series to Intrinsic mode functions
Ensemble Empirical Mode Decomposition (EEMD) を用いて信号処理を行う．
それを用いて各IMFを得る，
・Selection of Intrinsic mode function
元の時系列の時依存度に応じてIMF˚関数をクラスタリング (k-means)
・Utilizing intrinsic mode functions to learn with multiple-task and multi-view based model
固有モード関数を予測するというマルチタスク学習を行う (1d CNNで特徴を学習)
関連性の低い固有モード関数グループをはmulti-vew moduleに用いられる → multi-viewの効果とは？
0. 論文
Journal/Conference: AAAI 2020 Title: Self-boosted Time-series Forecasting with Multi-task and Multi-view Learning Authors: Long H. Nguyen, Zhenhe Pan, Opeyemi Openiyi, Hashim Abu-gellban, Mahdi Moghadasi, Fang Jin URL: https://arxiv.org/abs/1909.08181
1. どんなもの？
多変量時系列予測ではなく，他の外部情報を用いれない単一の時系列予測問題に対し，マルチタスクとマルチビュー学習を組み合わせて予測性能を向上させようとする
2. 先行研究と比べてどこがすごい？
・マルチタスクとマルチビュー手法の組み合わせをおこなった点 ・マルチビューに取り入れる特徴量を選択するために一つの時系列を複数の特徴量に分解した点 分解例
3. 技術や手法のキモはどこ？
1つの時系列から様々な特徴を取得するためにEnsemble Empirical Mode Decomposition (EEMD)を用いて複数の成分に分解 複数の成分を元の時系列に近いグループと遠いグループに分割して，マルチタスク学習への入力とマルチビュー学習の入力に分割し学習を行う
4. どうやって有効だと検証した？
3つのデータセットを用いて提案モデルの有効性を評価
5. 議論はある？
分割された複数の成分をマルチタスクとマルチビューどちら側に入力させるか？の判断はまだ十分にできていない (現状はk-meansクラスタリングを用いて分割している / 参照：Understanding the importance of intrinsic mode functions ) →そもそも、2つのモジュールに対する入力を異なるものにするべき理由はあるのか？ ・Multi-view learningって何？論文を読んでもなんのためにするのか分からなかったのでちょっと調べたい
6.次に読むべき論文は？
Khandelwal, I.; Adhikari, R.; and Verma, G. 2015. Time series fore- casting using hybrid arima and ann models based on dwt decomposition. Procedia Computer Science 48:173–179.
メモ
一般的には様々な特徴を追加して予測性能を向上させようとするのが一般的→全部の問題に適応可能ではない 提案：self-boostedという元の時間系列を複数の時系列に分解する手法 マルチタスク学習に適応させ，multiview学習に取り込む? 3つのデータセット
1 Introduciton 未だに領域知識や自動最適化 (auto-optimized)を用いずに時系列を予測することは現状でも課題 →最近ではマルチタスク学習やマルチビュー学習の導入 マルチビュー：異なる特徴を補完し、データを包括的に理解するための学習？
提案：マルチタスクとマルチビューを組み合わせた共同訓練目的関数を組み込んだself-boosted modelの提案 キーとなる考え方：元の時系列を構成要素に分解 (Empirical Ensemble Decomposition (EEMD)によって)→分解した時系列をclosely related groupsとloosely related groupsに分解 Cloosely はマルチタスク学習に，looselyはマルチビュー学習に利用 信号処理 (EEMD)をマルチタスクとマルチビューに組み入れて時系列予測を行う新しい取り組み
2 Related works 古典的時系列の手法 非線形動的ボルツマシンの利用︰Dasgupta, S., and Osogami, T. 2017. Nonlinear dynamic boltzmann machines for time- series prediction. In Thirty-First AAAI Conference on Artifi- cial Intelligence. 時間的グラフの正則化手法︰Yu,H.-F.;Rao,N.;andDhillon, I. S. 2016. Temporal regularized matrix factorization for high-dimensional time series prediction. In Advances in neural information processing systems, 847–855. 異なる時間スケールを学習した多変数スタック型LSTMの提案？：Liang, S.; Nguyen, L.; and Jin, F. 2018. A multi-variable stacked long-short term mem- ory network for wind speed forecasting. In 2018 IEEE In- ternational Conference on Big Data (Big Data), 4561–4564. IEEE. →これらの研究のほとんどはドメイン固有の特徴が重要となる が，外部情報が存在しない予測モデルによってときたい場合も存在する
信号処理 差分学習の強化版じゃん / DWTを用いて時系列を線形成分と非線形成分に分解してそれぞれ別のモデルで予測︰Khandelwal, I.; Adhikari, R.; and Verma, G. 2015. Time series fore- casting using hybrid arima and ann models based on dwt decomposition. Procedia Computer Science 48:173–179. Ensemble Mode decomposition holw-winterの利用︰Awajan, A. M.; Ismail, M. T.; and Wadi, S. A. 2018. Improving forecasting ac- curacy for stock market data using emd-hw bagging. PloS one 13(7):e0199582. ensemble empirical mode decomposition (EEMD) with the LSTM modelの利用︰Wu, Y.-X.; Wu, Q.-B.; and Zhu, J.- Q. 2019. Improved eemd-based crude oil price forecasting using lstm networks. Physica A: Statistical Mechanics and its Applications 516:114–124. →本研究では，EEMD + miulti-task / mult-viewに基づく深層学習モデルの提案
3 Problem Formulation 元の時系列をIMFに分解→元の時系列と類似している固有モード関数をグループ化しマルチタスクモデルを構築 マルチタスクでは選択された固有モード関数の予測をおいこない，残りの固有モード関数はmulti-view moduleのために用いられる
・From time series to Intrinsic mode functions Ensemble Empirical Mode Decomposition (EEMD) を用いて信号処理を行う． それを用いて各IMFを得る，
・Selection of Intrinsic mode function 元の時系列の時依存度に応じてIMF˚関数をクラスタリング (k-means)
・Utilizing intrinsic mode functions to learn with multiple-task and multi-view based model 固有モード関数を予測するというマルチタスク学習を行う (1d CNNで特徴を学習) 関連性の低い固有モード関数グループをはmulti-vew moduleに用いられる → multi-viewの効果とは？
Optimization 全ての損失関数を合計して用いる
4 Method 3つのデータセット Electricity: https://archive.ics.uci.edu/ml/datasets/ElectricityLoadDiagrams20112014 Exchange rate: ? Air temperature: https://archive.ics.uci.edu/ml/datasets/Air+Quality
5 The Role of multi-task and multi-view learning ablation studyを行うことで性能を評価
6 Understanding the importance of intrinsic mode functions 元の時系列をソート：似ているものから似ていないものをモデルに組み込んでいく マルチタスク学習とマルチビュー学習の両方で適切な固有モード関数を選択するべき k-meansクラスタリングでも十分だが・もっと良い特徴選択の方法があるのでは？
7 Conclusion 提案モデルは、マルチタスク学習とマルチビュー学習を協調させて予測性能を向上させる。学習特徴は、信号処理領域のアンサンブル経験的モード分解(EEMD)法によって生成された固有モード関数に由来する。 →適切なモード関数の選択は十分にできないため、そこらへんに発展の余地がありそう