nogawanogawa
commented
2 years ago Related Pins at Pinterest: The Evolution of a Real-World Recommender System
論文URL
https://arxiv.org/abs/1702.07969
著者
David C. Liu, Stephanie Rogers, Raymond Shiau, Dmitry Kislyuk, Kevin C. Ma, Zhigang Zhong, Jenny Liu, Yushi Jing
会議
WWW '17
歴史的経緯
Pinterestでの推薦は下記のように推移してきた。
Candidate Generation
Candidate Generationは基本的にユーザーが作成したボードとピンのグラフに基づいて生成される。 ここでは様々な方法によってCandidate Generationが行われている。
ボードの共起
現在はPixieと呼ばれるランダムウォークによってCandidate Generationされている。 これはPinとボードの二部グラフを使用し、関連性の低いピンを除去した後、ランダムウォークによってユーザー固有のPageRankを算出する。
これによって、Pinから数ステップ離れたボードについても検索することができ、希少なピンが推薦される範囲を拡大できる。
セッションの共起
同じセッション内で保存したPinの系列をword2vecと同様の方法で、Pin2Vecとして学習することで、同一セッションで保存されたPin間の距離を最小化するように学習したEmbeddingを使用している。
候補の補充
先に挙げた方法とは並行して、Cold start問題や推薦の多様性確保に対応するために候補の補充を行った。
- 検索ベース
- テキストベースの検索を活用して候補を追加する
- 画像の類似度ベース
- 画像検索の要領で類似画像を候補として追加する
セグメントによるフィルタリングした候補の追加
Pinterestが国際化したことによって、localeごとにPinの付き方が大きく異なっていた。 そこで、Boardの共起の結果から、localeが合致したPinのみを取得するようにFilteringを行っている。
Memboost
Memboostは、過去にあったクエリとなるPinと結果のペアを記録しておいてそれを使用する。 ログデータには強いポジションバイアスがかかるので、ログデータをそのまま使用することはできない。
そこで、位置に関するクリックの期待値に対して、実際にクリックされたかを使用し、最終的にこのスコアを使用してソートする。
Ranking
長らくCandidate GenerationとMemboostだけでRelated Pinの推薦を行ってきたが、その後Rankingモデルを導入した。 Memboostのスコアに加えて、Pinのデータや、後にユーザーに関する情報（最新のクエリなど）をFeature Extractorによって特徴量化され、それらをモデルのインプットとしている。
- Memboost学習データ、関連性ペアラベル、ペアワイズロス、線形
- 個別のRelated pinのセッションに移行
-
- で使用するMemboostは、ユーザーを集約して得られる値のため、本質的なパーソナライズは難しい
- またpopulation biasがかかることもわかっていた
- そこで個別のRelated pinの情報を使用するように移行
-
- RankNet GBDT モデルへ移行
- 線形モデルではスコアが線形に縛られるため表現が難しかった
- RankNet GBDTを使用
- ポイントワイズ分類損失、バイナリラベル、ロジスティックGBDTモデルへ移行
- 本来保存というアクションが重要なのに、クリック等が強く反映されることを懸念した
- 合わせてポイントワイズに移行
zerebom
Why
Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。
prev. https://github.com/wantedly/machine-learning-round-table/issues/139
What
話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！