Recommending Podcasts for Cold-Start Users Based on Music Listening and Taste

[masatakashiwagi]

Recommending Podcasts for Cold-Start Users Based on Music Listening and Taste

• Authors:

• Affiliation: Spotify, Cornell University

• Link: https://arxiv.org/abs/2007.13287

• Date: 2020-07-27

どのようなもの？(コントリビューション)

• Podcastのレコメンド問題に関する数少ない研究の1つで，コールドスタートのPodcastレコメンドを目的としたCross-Domain Recommendationのソースとして音楽を使用した最初の研究
• オフラインとオンラインの両方のテストにおいて，popularity-basedなレコメンドに比べて50％改善している
• Podcastのレコメンドのための音楽の嗜好性の表現について，特にレコメンドの説明や偏りの調査のための知見を得た

先行研究と比べてどこがすごいか？

技術や手法の肝はどこか？

どうやって有効だと検証したか？

議論はあるか？

次に読むべき論文は？

備考

[masatakashiwagi]

INTRODUCTION

• Cross-Domain Recommendation:
  • Podcastで利用するプラットフォームの多くは，音楽や他のコンテンツなどもある．さらに，これらのプラットフォームのユーザーの多くは音楽を長時間聴いている経験があるため，コンテンツ分析や視聴履歴がなくても，他のメディアの行動履歴を利用して，Podcastをレコメンドすることが可能であり，これをCross-Domain Recommendationという．
• 問いが3つある
  • Q1. 音楽の視聴履歴や嗜好性から，コールドスタートユーザーにPodcastへのCross-Domain Recommendationが効果的か？
    • Why: 2つのメディア（普通の音楽とPodcast）は，楽器演奏と話し言葉，比較的短い曲と数分から数時間のエピソード，話題性のあるコンテンツなど，多くの重要な点で異なっているからである
    • How: 音楽プラットフォーム上で，Podcastレコメンドのための複数の異なるモデルを実装するして，この問題を調査する．
    • Results: ベストモデルにおいて，オフライン/オンラインテストで，単純なpopularity-basedなモデルに比べて最大50％の改善を示した．
  • Q2. ソースとなる音楽ドメインにおいて，ユーザーの好みを最も効率的かつ効果的に表現する方法とは？
    • ソースドメイン内のユーザーを表現する3つの異なる方法で試行した
    • 単純なアプローチも複雑なアプローチと同様に機能する
  • Q3. 音楽の好みがPodcastのレコメンドにどのように影響するか？
    • 音楽をソースとして使用することによるバイアスをモデルがどのように取り込むか

[masatakashiwagi]

RECOMMENDING PODCASTS BASED ON MUSIC TASTE

• Podcastと音楽は，両方とも聴覚的に行動されるものであるが，ユーザーの行動の仕方は違う
• 行動メカニズムとして，Podcastは音楽よりも書籍に似ている（Podcastは1つ当たりの時間が長い）
• 音楽を積極的に聴く人が1日に聴くトラック数は，Podcastの約20倍ある
• 繰り返し聴くという現象は，音楽では一般的な行動であるが，本のように1つのPodcastが同じユーザーによって2回以上聴かれることはほとんどない（これは確かに自分も当てはまるなーと思う: 1つ当たりの時間が長いから何回も聴こうと思えないのかな）

Features

• ユーザーの好みを表現するための特徴は，オーディオ特徴・ジャンルなどの分類特徴・共聴行動特徴・ユーザーが作成したプレイリストでの共起などがある
• 一方で，これらの特徴の中には，非常にスパースなものもある
  • 例えば，ジャンル．どの曲も1つのジャンルにしか属さない．ジャンルをone-hot encodingすると，非常に疎な行列になってしまう
• このことから，この問題は極端な多クラス分類問題であり，各Podcastの番組が1つのクラスになる

Cross-Domain Transfer

• ソースドメインSのユーザとアイテムの表現に基づいて，デスティネーションドメインDでのレコメンドを行う
• lossはcross entropyで，softmaxで分類する
• 各Podcast番組がクラスであるため，学習では多数のクラスを扱える必要がある．そこで，negative samplingのアプローチとして，importance samplingを用いて，効率的な時間でモデルを収束させる
• Loss関数は以下で定義される．kはサンプリングされたネガティブの数，d_ijはラベルiに対してサンプリングされたj番目のネガティブクラスのベクトルとシグモイド値，uはdenseベクトル

Representing Music Taste

• Demographics: ユーザーの基本的なdemographicデータを使って，音楽の好みを推測する．この情報の中には，国・年齢・性別などがある
• Metadata: アーティストやジャンルなどの音楽のメタデータ情報を用いることで，音楽の好みをよりよく表現することができる
  • 130万人以上のアーティスト，40のジャンル，3855のマイクロジャンルがある
• Latent Representation: ユーザーをソース・ドメインの潜在的な表現に埋め込む
  • カタログ内のすべてのトラックをWord2vec Skip-gramモデルで学習し，高次元のベクトル表現にする
  • ユーザーの表現は，ユーザーのリスニング行動の最近の結果に基づく加重平均として計算する

[masatakashiwagi]

• ネットワーク図
• 図1のS1/S2/S3/S4は，ユーザーのリスニング習慣のさまざまな疎な特徴と密な特徴を示している．Podcastをデスティネーションとして使用している．ネットワークを学習することで，音楽からPodcastへの嗜好のマッピングを学習する．

[masatakashiwagi]

Data

• Spotifyで少なくとも1つのPodcastをフォローしている1,700万人のユーザーから構成されている．平均して，2.9個/1人のPodcastをフォローしている．各ユーザーは，フォローしているPodcastに加えて，Spotifyで聴いたことのトラックのリストと，アーティストやジャンルなどの各トラックの注釈付き情報を持っている
• Demographics: 各ユーザーについて，国・性別・年齢に関する自己申告の情報
  • 国: 17ヵ国
  • 性別: 4つのタイプ（男性・女性・中性・なし）
  • 年齢: 「不明」を含む8つのバケット
• Metadata: 各ユーザーに対して，過去90日間にプラットフォーム上で聴いたトラックのリストがある．（各トラックには，手動でタグ付されたアーティスト・ジャンル・メタジャンル・マイクロジャンルなどのさまざまなメタデータが関連付けられている）
• Music Taste Embeddings: ユーザーの音楽行動に加えて，ユーザーがキュレーションした約7億件のプレイリストのデータセットを使用している．（各プレイリストは平均して10曲で構成されてる）
  • プレイリストは，Word2vecを用いたCFアプローチを使って，上記にある通りトラックの40次元のベクトル表現を作成している
  • ユーザーの表現は，最近の結果に基づくトラックのベクトル表現の加重平均として計算する
  • 一方で，これらの埋め込みを計算するには非常にコストがかかる．実際には，数時間の計算時間が必要であり，カタログやユーザープレイリストの変更に応じて，頻繁に再計算する必要がある．さらに，これらのベクトル表現は不透明であり，ある次元の値が何を表しているのか，直感的に理解することができないため，レコメンドについて何も説明できない問題がある．
• Podcast Interests: お気に入りのPodcastをフォローするオプションがあり，各ユーザーに対して，フォローしているPodcastのリストがある

[masatakashiwagi]

Offline Experimentsの準備

• Training and test splits:
  • ユーザーIDごとにデータを分割し，約20万人のユニークユーザーをテストセットに，残りをトレーニングセットにした
  • トレーニングセットには，1人のユーザが10個のPodcastをフォローしていた場合，そのユーザのリスニング履歴，デモグラフィック，特定のPodcastをフォローしているという表示を反映した10個のインスタンスが存在することになる
  • テストセットには，各ユーザごとに1つのインスタンスが含まれている
• Models: 9つの異なるモデルを比較した
  • 2つは人気のあるPodcastをランク付けするベースライン
  • 3つはCross-DomainのCFモデル
  • 残りの4つはCFモデルとデモグラフィックデータを組み合わせたもの
• Metrics: precision, recall, and nDCG
• Hyper-parameter tuning: 学習データの一部をvalidationデータとして使用
  • Hyper-parameter
    • 入力特徴量のembedding size
    • FC層の数
    • user embeddingの最終層のsize
    • negative samplesの数
  • Demographic features: embedding size=10が一番良かった
  • FC層を1層から2層に増やすと精度が向上，3層以上は変わらない
  • user embeddingのsizeについては，20から40にすると精度が向上し，40以上にすると精度が低下
  • hidden layerのノード数は，128，256，512，1024で実験を行った．hidden layerのノード数を増やすと結果が若干良くなりますが、学習時間を24時間以内に抑えるために512を使用した
  • negative samplesの数は256、512、1024、2048、4096で実験を行い、2048が最も良い結果となった

[masatakashiwagi]

Results

Offline Experiments

• Tukey's Honest Significant Differences (Tukey's test) で統計的有意差検定を行った
• 音楽のCross-Domainモデルは，popularity-basedのモデルと比較して，出身国やユーザー層に合わせて調整した場合でも，有意な差があるぐらい良い結果が得られている
• 結果を見ると，メタデータモデルが，Podcastをレコメンドするために必要な音楽の好みに関する情報のほとんどを捉えていることを示唆している

Online Experiments

• SpotifyでPodcastを視聴したことのない80万人のユーザーを対象に行った．
• それぞれ無作為に2つのグループに分けた
  • コントロール群には，国+Demographicでpopularity-basedのモデルによって生成された10件のレコメンド
  • 介入群には，Demographic+Cross-Domain CF+メタデータモデルによって生成された10件のレコメンド
• 1週間にわたり，Podcastの消費量（分）と，これらのユーザーが新たにフォローした番組の数を測定した．
• 音楽を使ったレコメンデーションを受けたグループは，コントロール群に比べて，Podcastの視聴時間が50％近く長く，フォローした番組数も50％以上多かった．

[masatakashiwagi]

Model Performance in User Cohorts

• 3つ目の疑問に対しての分析

Country of origin

• 様々な言語のコンテンツを理解するというコストのかかるプロセスを経ることなく，関連する音声コンテンツをレコメンドできるか
• すべての国において，少なくとも30％の性能向上が見られた

Time on platform

• 興味のあるPodcastを正確にレコメンドするには，モデル性能に必要な音楽視聴履歴の量が重要であるが，一番良いモデルは，1週間未満の音楽行動データで人気ベースのモデルを上回ることができる

Age bucket

• すべての年齢バケットで良好な性能を示した

Gender

• 男性と女性の間に有意な差は見られませんでした

[masatakashiwagi]

CONCLUSION

• 今回の論文はSpotifyでソースドメインとして過去の音楽視聴と音楽嗜好の表現を用いて，ターゲットドメインとしてPodcastのアイテムをレコメンドするというもの
• ユーザーがPodcastに興味を持っているという事前情報がなくても（コールドユーザー），オフライン&オンライン実験の両方で良好な結果が得られた．オンライン実験では，リスニング時間とPodcastのフォローをともに50％増加させた
• メタデータを用いるモデルが良く，すべての国・すべての年齢・すべての性別で上手く機能し，Podcastのレコメンドには大量のリスニング履歴を必要としないことがわかった
• 今後はウォームスタートユーザーに対してもテストして性能を確認したいとのこと

[masatakashiwagi]

所感

• Cross-Domainモデルという存在を知った，ママリだとあまりないかもしれないが，質問だけを見ているユーザーから記事をレコメンドしたりその逆も然りで使える可能性がありそう．
• メタデータが有効で，質問のタグだったりその辺りの情報をデータとして作ることでより精度の高いレコメンドができる可能性がありそう
• 埋め込み表現強いなという印象なので，記事レコメンドでも今期どこかで取り入れて行きたい！