Personality Bias of Music Recommendation Algorithms

[masatakashiwagi]

Personality Bias of Music Recommendation Algorithms

• Authors: ALESSANDRO B. MELCHIORRE, EVA ZANGERLE, MARKUS SCHEDL

• Affiliation:

• Link: https://dbis.uibk.ac.at/sites/default/files/2021-05/manuscript.pdf

• Date:

どのようなもの？(コントリビューション)

• 性別，年齢，国，消費行動などが異なるグループにおいて，レコメンドシステムのパフォーマンスが異なることが知られているが，本論文では，このユーザーのバイアスをユーザーのpersonality（性格）という観点から調査をしている．
• Twitterユーザーの音楽消費行動とpersonality特性のデータセットを作成して，OCEANモデルの観点から特性を見ていく
• アルゴリズム
  • SLIM
  • Embarrassingly shallow autoencoders for sparse data (EASE)
  • Variational autoencoders for collaborative filtering (Mult-VAE)
• 評価指標（メトリクス）
  • Recall@K
  • NDCG@K

先行研究と比べてどこがすごいか？

• 異なるpersonality特性に起因する可能性のあるバイアスを調査した初めてのもの

技術や手法の肝はどこか？

どうやって有効だと検証したか？

議論はあるか？

次に読むべき論文は？

備考

• https://github.com/CPJKU/pers_bias

[masatakashiwagi]

The Big Five Personality Traits

• openness (開放性)
• conscientiousness (誠実性)
• extraversion (外向性)
• agreeableness (協調性)
• neuroticism (神経症的傾向)

:max_bytes(150000):strip_icc():format(webp)/2795422-article-the-big-five-personality-dimensions-5a9083fb6edd650036603137.png)

[masatakashiwagi]

• 音楽領域における推薦システムでは，様々なバイアスがある
  • アイテム・ユーザー
• 一方で，パーソナリティ特性の研究はあまりされていない
  • 最先端のレコメンドエンジンのパフォーマンスがこれらに影響を受けるのか調べた
• パーソナリティ特性は，音楽の好みや音楽の利用方法と相関関係がある
• パーソナリティを考慮した推薦システムは，音楽以外の領域でも提案されている（映画，料理/レシピ，コンピュータゲームなど）
• ユーザのパーソナリティ特性や多様なニーズに応じたシステムを提案していて，レコメンドリスト内の多様性は，音楽のキー，ジャンル，アーティストの数などのアイテムの特徴に基づいて計算される

[masatakashiwagi]

どうやって計測したんだ？

Based on previously identified correlates between personality traits and diversity needs, the authors map each personality trait to a desired level of diversity and integrate this information as weighting term into the objective function used for re-ranking.

[masatakashiwagi]

Dataset

• Twitterのハッシュタグを利用して収集した，2018年から2019年にかけての#nowplayingのツイート（#nowplaying, #listento, #listeningtoというキーワードで検索し，Twitter Streaming API1を介して収集した合計256,705,566ツイート）を利用している．
• MusicBrainzデータベース2（音楽に関するメタデータを管理している）からトラックとアーティストの情報を抽出
• Tweetがラジオ局のものでないかを確認している
• ユーザーのパーソナリティ情報を取得するために，Twitter API3に問い合わせ，リツイートを除く最新の1,000件のツイートを取得した．これらのツイートは，IBM Personality Insight API5に送られ，OCEANモデルに従って，各ユーザのパーソナリティ推定値をパーセンタイルの範囲である[0,1]にスケーリングして返す
• リスニングイベントが5回未満のユーザーは削除され，80:20の割合で学習用とテスト用のデータセットに分割する
• 総試聴イベント数395,056，パーソナリティ値を持つユーザー数18,310，ユニークトラック数15,753

[masatakashiwagi]

[masatakashiwagi]

図に関して，

• ユーザーごとのトラック数とトラックごとのユーザー数の基本統計量
• 中央値以上のスコアを持つ高いグループと，低いスコアを持つ低いグループ（中央値分割）
• 各パーソナリティの特徴（列）とユーザーグループ（特徴が高いグループと低いグループ，それぞれ表の上段と下段）の統計データ
• 性格的な特徴とユーザーグループに関わらず，ユニークトラックの総数は非常に似通っていることがわかります
• 神経質な人は，自分のリスニング習慣でカバーするアイテム数が少ない
• 外向的で経験にオープンな人は，内向的でオープンでないユーザーよりもより多くの音楽を聴く（共有する）
• リスニングイベントの数については，神経症を除いて高グループが一貫して高い数値を示して

[masatakashiwagi]

Recommendation Approaches

• Sparse Linear Methods (SLIM):
  • 非負性および𝐿1と𝐿2の正規化制約の下で項目-項目共起行列を因数分解して，top-𝑛推薦を計算する線形モデル
  • 学習されたアイテム係数は，過去のユーザーのインタラクションをスパースに集計し，ユーザーが将来インタラクションするアイテムを予測する
• Embarrassingly Shallow Autoencoders (EASE):
  • EASEはSLIMを拡張した浅い線形モデル
  • EASEは𝐿2ノルム制約のみを保持しているため，閉形式の解が存在し計算効率の高いモデル
• Variational Autoencoders (Mult-VAE):
  • Mult-VAEは，協調フィルタリングにmultinomial conditional likelihoodを用いたVAEアーキテクチャで非線形の確率モデル

[masatakashiwagi]

Evaluation Metrics

• Recall@K
• NDCG@K

[masatakashiwagi]

• アルゴリズムのハイパーパラメータは，様々なパラメータのグリッドサーチでNDCG@50が最適になるように探索
• SLIM/EASEはL1/L2のパラメータを変えて計算している
• we split the users in training／validation／test sets (80％／10％／10％)
• 計算は10回のseedの平均値

[masatakashiwagi]

[masatakashiwagi]

Results

• パーソナリティ特性のスコアが低いと ，開放性・外向性・誠実性のパフォーマンスが高くなり，神経症と協調性のパフォーマンスが低くなる
• 性格が異なるユーザーに対して，神経症と開放性で非常に有意な差が見られた（Recall/NDCG共に）
• ただし，Twitterの情報では一般化まではできない
• ユーザーの実際の行動を正確に反映しているとは限らず，むしろユーザーがどのように認識されたいかを反映している可能性がある
• 異なる性格のグループに対する不平等な扱いという点である種のバイアスが確認された
• 精度の違いが，性格の異なるユーザーの消費パターンの違いによってどの程度説明できるのか（データバイアス）
• これらの違いがレコメンデーションシステム自体によってどの程度もたらされるのか（アルゴリズムバイアス）