KKaichi
commented
2 months ago It's Not You, It's Me: The Impact of Choice Models and Ranking Strategies on Gender Imbalance in Music Recommendation
会議
conference short paper, to be published at RecSys 2024 らしい
背景
推薦システムのバイアスと公平性
- 推薦システムは、ユーザーの行動やアルゴリズムのバイアスに影響を受けやすく、音楽分野では特にアーティストのジェンダーの公平性が懸念されている。
- 音楽業界では男性アーティストが大多数を占めており、このジェンダー不均衡が推薦システムの出力にも反映され、さらにバイアスを助長するフィードバックループが形成されている。
目的
- ジェンダーの公平性に焦点を当て、アルゴリズムの再ランク付け戦略とユーザー選択モデルのどちらが、ジェンダー不均衡の改善や悪化に大きく寄与するのかを調査。
- この調査は、ユーザーのフィードバックデータを基にモデルを繰り返し再トレーニングするシミュレーションによって行われた。
推薦モデル
- IALS: 暗黙フィードバックを用いた行列分解（implicit Alternating Least Squares）（iALSを使ってみる）
- BPR: ペアワイズランク損失による行列分解（Bayesian Personalized Ranking）
再ランク付戦略
- MoveUp: ランキング内の最初の女性アーティストを1位に移動
- 𝝀5, 𝝀7: 男性アーティストのランキングを𝜆ポジション（5または7）下げる
- FAIR: 非男性アーティスト（女性およびノンバイナリー）が50％以下にならないよう調整
ユーザ選択モデルのシミュレーション
- Deterministic (Det): 推奨されたすべてのアイテム（N=10）をユーザーが必ず聴取するモデル
- Random (Rnd): 推奨されたアイテム（N=10）のうち、各アイテムを50%の確率でユーザーが聴取
- InspectionAbandon (IA): 上位のアイテムを優先的に聴取するが、途中で30%の確率で聴取をやめるモデル
- Biased: IAモデルの変形版で、ユーザーが男性アーティストのアイテムを10%多く聴取するようにバイアスがかかっている
実験（フィードバックループ）
- ユーザー選択モデルに基づいて推奨リストからアーティストを選択
- 聴取イベントを記録し、次のイテレーションで再トレーニングされたモデルで推奨リストを再生成
- このプロセスを5回繰り返し、各イテレーションごとのモデルとリストの変化を追跡
評価メトリクス
- PFA (Position of First Female Artist): 推薦リストにおける最初の女性アーティストのランク位置
- AWRF (Attention-Weighted Rank Fairness): 全体の推奨リストにおけるジェンダーの公平性
- Gini coefficient: 推薦の集中度を測定し、男女別で多様性を評価
結果
再ランク付け戦略の影響
- 再ランク付け戦略（特にMoveUpと𝝀7）は、女性アーティストの露出を大幅に改善。
- IALSは非常に安定しており、BPRに比べてジェンダーの露出バランスをよりよく維持。
ユーザー選択モデルの影響
- ユーザー選択モデルは、最初の女性アーティストのランクにほとんど影響を与えず、再ランク付け戦略の方が効果的。
- MoveUpは設計通り、常に女性アーティストを1位にランクインさせる。
- 𝝀5, 𝝀7は女性アーティストをランク上位に配置するが、MoveUpほどではない。
全体の公平性
- AWRFにおいても、再ランク付け戦略がユーザー選択モデルよりも大きな影響を持つ。
- IALSはジェンダーの露出バランスが安定している一方、BPRはフェアネスや多様性に変動が見られた。
多様性
- ジニ係数（𝐺𝑖𝑛𝑖@10）での評価において、IALSがすべての再ランク付け戦略および選択モデルにおいて、BPRよりも多様性を保つ。
- FAIRでは、男女間の露出格差が縮小するが、IALSベースの推奨リストが最も安定している。
結論
- 再ランク付け戦略の有効性: 再ランク付け戦略は、ユーザー選択モデルに比べて、推奨リストの公平性を大きく改善できる。特に長期的なジェンダーの公平性に対して、アルゴリズムによる介入が効果的である。
- モデルの安定性: IALSはBPRよりも安定したジェンダー露出を提供し、5回のイテレーションにわたって一貫した結果を示した。
- 将来の課題: BPRの変動要因をより詳細に調査する必要があり、ノイズやランダム性が影響している可能性がある。また、ノンバイナリーのアーティストに関する分析や、他の再ランク付け戦略、コンテンツベースモデルの適用も今後の研究課題として残されている。
nogawanogawa
Why
Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。
prev. #262
What
話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！