id: "do-humans-prefer-debiased-ai-algorithms-a-case-study-in-career-recommendation" aliases:

"Do Humans Prefer Debiased AI Algorithms? A Case Study in Career Recommendation" tags:
"TSUNDOKU"

Do Humans Prefer Debiased AI Algorithms? A Case Study in Career Recommendation

Currently, there is a surge of interest in fair Artificial Intelligence (AI) and Machine Learning (ML) research which aims to mitigate discriminatory bias in AI algorithms, e.g. along lines of gender, age, and race. While most research in this domain focuses on developing fair AI algorithms, in this work, we examine the challenges which arise when human- fair-AI interact. Our results show that due to an apparent conflict between human preferences and fairness, a fair AI algorithm on its own may be insufficient to achieve its intended results in the real world. Using college major recommendation as a case study, we build a fair AI recommender by employing gender debiasing machine learning techniques. Our offline evaluation showed that the debiased recommender makes fairer and more accurate college major recommendations. Nevertheless, an online user study of more than 200 college students revealed that participants on average prefer the original biased system over the debiased system. Specifically, we found that the perceived gender disparity associated with a college major is a determining factor for the acceptance of a recommendation. In other words, our results demonstrate we cannot fully address the gender bias issue in AI recommendations without addressing the gender bias in humans. They also highlight the urgent need to extend the current scope of fair AI research from narrowly focusing on debiasing AI algorithms to including new persuasion and bias explanation technologies in order to achieve intended societal impacts.
現在、性別、年齢、人種など、AIアルゴリズムにおける差別的なバイアスを軽減することを目的とした、公正な人工知能（AI）および機械学習（ML）の研究への関心が高まっています。この分野の研究の多くは、公正なAIアルゴリズムの開発に焦点を当てていますが、本研究では、人間と公正なAIが相互作用する際に発生する課題を検討します。その結果、人間の好みと公正さの間に明らかな矛盾があるため、公正なAIアルゴリズム単体では、実世界で意図した結果を得るには不十分な場合があることがわかりました。大学の専攻推薦をケーススタディとして、性別の偏りを解消する機械学習技術を採用し、公正なAIレコメンダーを構築しました。オフラインで評価した結果、この機械学習による推薦文は、より公正で正確な大学専攻の推薦を行うことができました。しかし、200人以上の大学生を対象としたオンライン・ユーザー・スタディでは、参加者は平均して、偏った元のシステムの方が、デビアスされたシステムよりも好きであることが明らかになりました。具体的には、大学専攻に関連する男女格差の認知が、推薦を受け入れるかどうかの決定要因になることを発見しました。つまり、この結果は、人間のジェンダーバイアスに対処することなしに、AIによる推薦のジェンダーバイアス問題に完全に対処することはできないことを示すものです。また、社会的インパクトを得るためには、現在の公正なAI研究の範囲を、AIアルゴリズムの劣化に焦点を当てたものから、新しい説得や偏見説明の技術を含むものへと拡大することが急務であることを強調しています。

URL

https://dl.acm.org/doi/10.1145/3490099.3511108

引用すべき論文 FairMLに対してどう思ったかというもの

一言で言うと

debiasされた機械からの提示を人間は受け入れるのか？について調査。結果的にデバイアスされない方が受け入れられた。機械のバイアスを考えるのもいいが、人間のバイアスもかんがえるべきでは？

論文リンク

著者/所属機関

Wang, Clarice; Wang, Kathryn; Bian, Andrew; Islam, Rashidul; Keya, Kamrun Naher; Foulds, James; Pan, Shimei

投稿日付(yyyy/MM/dd)

IUI'22

先行研究と比べてどこがすごい？

バイアスを軽減するMLが台頭していることをもとに、人間はどちらの方が好むのかを調査。
驚くべきことに、デバイアスされていない方が好まれた！

技術・手法のキモはどこ？

どうやって有効だと検証した?

ユーザの情報と、アイテムの情報をもとにしたdebiased modelと、そのままによる職業推薦モデルに対する反応を見る。
- 職業にたいして、そもそも性差があり、人間はその性差を嫌っているものではない。
XAIによって何かしら意識に影響を与えるナッジ的な効果を生み出せたら嬉しい。

ナッジの効果＝揺さぶりとして捉えるのが良さそう。

mei28 / TSUNDOKU

Do Humans Prefer Debiased AI Algorithms? A Case Study in Career Recommendation #81

"TSUNDOKU"