How ACE is designed to achieve the three desiderata
まず, 説明性の要件であるMeaningfulnessを満たすために, 最初のステップで意味のないセグメントを出力しないようにする. これを実現するために, [43]で提案された手法を使用する.
次に, Coherencyを満たすために, ImageNetで訓練されたCNNを使用して, 人間の知覚的な類似性の指標を取り入れて, 類似度を計算する. それをもとに, クラスタリングして, 外れ値 (そのクラスタのセグメントと異なる意味をもつセグメント)を削除することで, クラスタ内で一貫性が保たれる.
最後にTCAVでconceptに対してスコアリングを行なっているが, TCAVのスコアリングは, あるcoceptが分類に対してどれだけ影響を与えるかで決定される.
[20] : B. Kim, M. Wattenberg, J. Gilmer, C. Cai, J. Wexler, F. Viegas, and R. Sayres. Interpretability
beyond feature attribution: Quantitative testing with concept activation vectors (tcav). In
International Conference on Machine Learning, pages 2673–2682, 2018.
[43] : X. Wei, Q. Yang, Y. Gong, N. Ahuja, and M.-H. Yang. Superpixel hierarchy. IEEE Transactions
on Image Processing, 27(10):4838–4849, 2018.
[45] : R. Zhang, P. Isola, A. A. Efros, E. Shechtman, and O. Wang. The unreasonable effectiveness
of deep features as a perceptual metric. In Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition, pages 586–595, 2018.
[46] : B. Zhou, Y. Sun, D. Bau, and A. Torralba. Interpretable basis decomposition for visual
explanation. In Proceedings of the European Conference on Computer Vision (ECCV), pages
119–134, 2018.
Towards Automatic Concept-based Explanations
Paper link : https://papers.nips.cc/paper/9126-towards-automatic-concept-based-explanations Author : Ghorbani, Amirata and Wexler, James and Zou, James Y and Kim, Been Conference : NeurIPS 2019 Source code : https://github.com/amiratag/ACE
概要
本論文ではConceptベースな説明法を提案する. 提案手法であるACEは視覚的な概念 (concept)を自動で抽出する. 評価実験では, ACEは人間にとって意味があり重要なconceptを発見することを示している.
貢献
関連研究
本論文では, Post-hocな説明法について焦点を当てている. また, 人間が理解できるような概念を用いて説明を与える手法である. このような概念を用いた研究は, TCAV[20]では, ある概念が分類予測にどれほど重要であるかの推定方法を作成した. また, [46]では, 1つの画像の予測を人間が解釈可能な概念の要素に分解する手法である. いずれの手法も, 人間が概念を入力として与える必要がある. 一方で, 本論文では, 人間がそれらの概念を作成する必要性を排除して, 予測を説明する手法となっている.
2. Concept-based Explanation Desiderata
Conceptベースな説明性の要件は以下となる.
3. Methods
ACEは訓練済みのモデルとあるクラスの画像セットを入力として受け取る. その後, そのクラスに存在するconceptを抽出し, conceptの重要度を出力する. 画像データのconceptはピクセルの集合で表される.
最初のステップでは, あるクラスの画像のセグメント化を行う (Fig 1(a)). 次に, 同じ意味をもつセグメントをグループ化する (Fig 1(b)). セグメントの類似性を計測するために, [45]の結果を利用する. ([45]では, ImageNetのような大規模なデータセットで訓練されたCNNでは, 最終層の活性化空間でのユークリッド距離は知覚的な類似性の指標となっている.) 上記のよう指標を用いてセグメント間の類似度の計算後, 類似したセグメントのクラスタリングを行う. このとき, クラスターの外れ値は削除される. 最後に, 前回のステップで抽出されたconcept集合からTCAVによって重要度スコアを計算する [20].
How ACE is designed to achieve the three desiderata まず, 説明性の要件であるMeaningfulnessを満たすために, 最初のステップで意味のないセグメントを出力しないようにする. これを実現するために, [43]で提案された手法を使用する. 次に, Coherencyを満たすために, ImageNetで訓練されたCNNを使用して, 人間の知覚的な類似性の指標を取り入れて, 類似度を計算する. それをもとに, クラスタリングして, 外れ値 (そのクラスタのセグメントと異なる意味をもつセグメント)を削除することで, クラスタ内で一貫性が保たれる. 最後にTCAVでconceptに対してスコアリングを行なっているが, TCAVのスコアリングは, あるcoceptが分類に対してどれだけ影響を与えるかで決定される.
評価実験
ImageNetで訓練されたInception-V3を使用した. Figure 2は, ある3クラスの上位4位のimportanctをもつconceptを可視化したものである. 例えば, 車の車輪や窓といった異なる性質を持つconceptが抽出されていることがわかる.
次に, Figure 4では, 上位5位のimportanceを持つconcept (青線)もしくは, 下位5位のimportanceを持つconcept (赤線)もしくは, ランダムなconcept (緑線)のみを追加 (SSC)・削除 (SDC)した場合の予測精度の変化を示している. ここからimportanceが高いconceptが予測精度においても重要であることがわかる.
Discussion
参考文献
[20] : B. Kim, M. Wattenberg, J. Gilmer, C. Cai, J. Wexler, F. Viegas, and R. Sayres. Interpretability beyond feature attribution: Quantitative testing with concept activation vectors (tcav). In International Conference on Machine Learning, pages 2673–2682, 2018. [43] : X. Wei, Q. Yang, Y. Gong, N. Ahuja, and M.-H. Yang. Superpixel hierarchy. IEEE Transactions on Image Processing, 27(10):4838–4849, 2018. [45] : R. Zhang, P. Isola, A. A. Efros, E. Shechtman, and O. Wang. The unreasonable effectiveness of deep features as a perceptual metric. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 586–595, 2018. [46] : B. Zhou, Y. Sun, D. Bau, and A. Torralba. Interpretable basis decomposition for visual explanation. In Proceedings of the European Conference on Computer Vision (ECCV), pages 119–134, 2018.