An Empirical Evaluation of the Rashomon Effect in Explainable Machine Learning

[mei28]

---

id: an-empirical-evaluation-of-the-rashomon-effect-in-explainable-machine-learning aliases:

• An Empirical Evaluation of the Rashomon Effect in Explainable Machine Learning tags:

• TSUNDOKU

An Empirical Evaluation of the Rashomon Effect in Explainable Machine Learning

🔑この論文のキーメッセージ

• 同程度の精度でもモデルによって説明が異なる（Rashomon Effect)。経験的にしらていたこの効果を実際に測定して評価。

🎓どういう問題に取り組んだのか

• 同じデータセット、同程度の性能を持つ複数のモデルがある場合、それらのモデルが異なる説明を提供することがある。この現象は Rashomon Effect として知られている。Rashomon Effectによる影響を測定する。

🎓その問題に取り組むことがなぜ重要なのか

• 異なる解釈の説明が提供されることで、モデル選択や説明の信頼性に影響を与える可能性がある。
• Explainable Machine Learningにおいて、説明の透明性と信頼性は重要である。

💡問題解決に向けたキーアイデアは何か

• 異なる説明手法、異なるデータセット、異なるモデルを用いたときの Rashomon Effectの影響を測定
  • 説明の安定性や多様性を評価
• 3つのシナリオを考える
  • Numerical Stability: モデル、データ、特徴量を変えない。ハイパラのみ変更
  • Solution Diversity: モデルのみ変更
  • Disagreement Problem: 特徴量のみ変更

👀新たに分かったことは何か

• Numerical Stability: 説明手法は特定のパラメータ設定に敏感であり、デフォルト設定では説明の安定性が確保されないことが多い。
• Solution Diversity: 性能がほぼ同じモデルでも、説明の多様性が大きく異なり、特定の説明手法やパラメータに依存する
• Numerical Stability: 説明の一致度を測るために、特徴一致度、符号一致度、ユークリッド距離などの評価指標が効果的であることが確認

コメント

• 測定
• https://github.com/pytorch/captum

次はなに読む？

論文リンク

• http://dx.doi.org/10.1007/978-3-031-43418-1_28
• https://link.springer.com/chapter/10.1007/978-3-031-43418-1_28
• https://arxiv.org/pdf/2306.15786

著者/所属機関

• Müller, Sebastian; Toborek, Vanessa; Beckh, Katharina; Jakobs, Matthias; Bauckhage, Christian; Welke, Pascal

投稿日付(yyyy/MM/dd)

• PAKDD2023