“How do I fool you?": Manipulating User Trust via Misleading Black Box Explanations

[mei28]

---

id: how-do-i-fool-you-manipulating-user-trust-via-misleading-black-box-explanations aliases:

• "“How do I fool you?\": Manipulating User Trust via Misleading Black Box Explanations" tags:

• TSUNDOKU

“How do I fool you?": Manipulating User Trust via Misleading Black Box Explanations

🔑この論文のキーメッセージ

• ユーザの誤解を生む説明によって、ユーザの信頼に（悪い）影響を与えることを実証的に示した

🎓どういう問題に取り組んだのか

• ブラックボックスなモデルを高い忠実度で表現した説明が、モデルのバイアスを正確に反映せず、ユーザに誤解を生むかのせいがある

🎓その問題に取り組むことがなぜ重要なのか

• ヘルスケアや刑事事件などハイステークな分野では、モデルの（あやまった）説明によって誤判断をもたらす危険性がある。

💡問題解決に向けたキーアイデアは何か

• 誤解を生む説明を生成するフレームワークを提案。実際のユーザスタディを通じて、誤った信頼を生む危険性を示した。
  • どの特徴量を用いるか、用いないかとモデルの忠実度を担保する最適化問題を解くこと→本文式(1)

👀新たに分かったことは何か

• 誤解を生むように生成した説明は、ユーザの信頼を大幅に高めてしまった。
• 特にユーザは、prohibitな特徴（使うべきではない特徴、race, gender）が含まれていない時に、誤った信頼を醸成してしまう

https://dl.acm.org/doi/10.1145/3375627.3375833

AIES'20