Paper link : https://arxiv.org/abs/1904.08935
Author : Alan H. Gee, Diego Garcia-Olano, Joydeep Ghosh, David Paydarfar
Conference : IJCAI 2019 (Workshop)
概要
3つの2次元時系列データセットにPrototypeを用いた説明法を適用する.
関連研究
Prototypeを用いた説明法として, [Li et al., 2017; Chen et al., 2018]がある. これらの手法は推論ベースな手法となっている. 1次元の時系列データによる分類における説明法は盛んに研究されている[Fawaz et al., 2018; Goodfellow et al., 2018].
[Li et al., 2017] Oscar Li, Hao Liu, Chaofan Chen, and Cynthia Rudin. Deep learning for case-based reasoning through prototypes: A neural network that explains its predictions. CoRR, abs/1710.04806, 2017.
[Chen et al., 2018] Chaofan Chen, Oscar Li, Alina Barnett, Jonathan Su, and Cynthia Rudin. This looks like that: deep learning for interpretable image recognition. CoRR, abs/1806.10574, 2018.
[Fawaz et al., 2018] Hassan Ismail Fawaz, Germain Forestier, Jonathan Weber, Lhassane Idoumghar, and Pierre-Alain Muller. Deep learning for time series classification: a review. CoRR, abs/1809.04356, 2018.
[Goodfellow et al., 2018] Sebastian Goodfellow, Andrew Goodwin, Danny Eytan, Robert Greer, Mjaye Mazwi, and Peter Laussen. Towards understanding ecg rhythm classification using convolutional neural networks and attention mappings. In Proceedings of Machine Learning for Healthcare, MLHC ’18, pages 2243–2251, 08 2018.
[Mehrotra et al., 2018] Rishabh Mehrotra, James McInerney, Hugues Bouchard, Mounia Lalmas, and Fernando Diaz. Towards a fair marketplace: Counterfactual evaluation of the trade-off between relevance, fairness & satisfaction in recommendation systems. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management, pages 2243–2251, 2018.
Paper link : https://arxiv.org/abs/1904.08935 Author : Alan H. Gee, Diego Garcia-Olano, Joydeep Ghosh, David Paydarfar Conference : IJCAI 2019 (Workshop)
概要
3つの2次元時系列データセットにPrototypeを用いた説明法を適用する.
関連研究
Prototypeを用いた説明法として, [Li et al., 2017; Chen et al., 2018]がある. これらの手法は推論ベースな手法となっている. 1次元の時系列データによる分類における説明法は盛んに研究されている[Fawaz et al., 2018; Goodfellow et al., 2018].
2. Methods
[Li et al., 2017]で提案された手法のベースに考える (Figure 2).
損失関数にprototypeに多様性とデータをカバーするような項を追加する. prototype同士が離れると小さく, 近づくと大きくなるようにprototype間の最も近い距離の対数の逆数 PDLを考える.
よって, 損失関数は
(3),(4)により, それぞれのprototypeが潜在空間上で広がりを持ち, PrototypeがDecodeできるようにしている.
prototypeの多様性の評価指標としてfairnessの指標を用いる [Mehrotra et al., 2018]. prototypeがより多様であるほどΨが大きくなる.
評価実験
Baseline [Li et al., 2017]との比較, 多様性を与える項 (PDL)を追加したことにより, 分類精度が上昇し, 多様性が増していることがわかる (Table 1).
次に, prototypeにt=SNEによって可視化すると, PDLの係数を大きくするほど, 多様性が生まれていることがわかる (Figure 4). Figure 4では, 数値ラベルが割り当てられているものがprototypeで色付けされているものが, 入力データである.
次に1~9を発生した音声波形のデータセットで作成されたprototypeを示す (Figure 8).
4. Discussion
損失関数にprototypeに多様性を与える項を追加したオートエンコーダprototypeモデルを提案した. 追加した項のハイパーパラメータを変更することで, prototypeの多様性を調整することができる. 今後の研究として, オートエンコーダをRNNのような時系列データを扱えるモデルに置き換えて説明性を与えることが挙げられる. また, [Chen et al., 2018]のような部分的な特徴を捉えれる説明性を拡張することで, 1次元時系列データに対してどのようなイベントがトリガーになるか説明を与えることができる.
参考文献
[Li et al., 2017] Oscar Li, Hao Liu, Chaofan Chen, and Cynthia Rudin. Deep learning for case-based reasoning through prototypes: A neural network that explains its predictions. CoRR, abs/1710.04806, 2017. [Chen et al., 2018] Chaofan Chen, Oscar Li, Alina Barnett, Jonathan Su, and Cynthia Rudin. This looks like that: deep learning for interpretable image recognition. CoRR, abs/1806.10574, 2018. [Fawaz et al., 2018] Hassan Ismail Fawaz, Germain Forestier, Jonathan Weber, Lhassane Idoumghar, and Pierre-Alain Muller. Deep learning for time series classification: a review. CoRR, abs/1809.04356, 2018. [Goodfellow et al., 2018] Sebastian Goodfellow, Andrew Goodwin, Danny Eytan, Robert Greer, Mjaye Mazwi, and Peter Laussen. Towards understanding ecg rhythm classification using convolutional neural networks and attention mappings. In Proceedings of Machine Learning for Healthcare, MLHC ’18, pages 2243–2251, 08 2018. [Mehrotra et al., 2018] Rishabh Mehrotra, James McInerney, Hugues Bouchard, Mounia Lalmas, and Fernando Diaz. Towards a fair marketplace: Counterfactual evaluation of the trade-off between relevance, fairness & satisfaction in recommendation systems. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management, pages 2243–2251, 2018.