Wide & deep learning for recommender systems

nogawanogawa commented 2 years ago

論文URL

著者

Heng-Tze Cheng, Levent Koc, Jeremiah Harmsen, Tal Shaked, Tushar Chandra, Hrishi Aradhye, Glen Anderson, Greg Corrado, Wei Chai, Mustafa Ispir, Rohan Anil, Zakaria Haque, Lichan Hong, Vihan Jain, Xiaobing Liu, Hemal Shah

会議

DLRS 2016

背景

推薦システムは、検索システムと同様に、MemorizationとGeneralizationを両立させる必要がある。

Memorization
- アイテムや特徴の頻度を学習し、履歴データから相関性を利用すること
Generalization
- 相関の推移性に基づき、過去に見たことがない新しいアイテムを探索すること

ただ、この2つを十分に両立させることは現状まだ難しい問題になっている。

目的

推薦モデルにおけるMemorizationとGeneralizationの両立

アプローチ

Wide & Deep
- 2種類のNNを共同で学習させる
- Memorization : Wide network, 特徴変換による線形モデル
- Generalization : Deep network, 埋め込みによるフィードフォワードニューラルネットワーク

nogawanogawa commented 2 years ago

背景

推薦システムは、検索システムと同様に、MemorizationとGeneralizationを両立させる必要がある。

Memorization
- アイテムや特徴の頻度を学習し、履歴データから相関性を利用すること
Generalization
- 相関の推移性に基づき、過去に見たことがない新しいアイテムを探索すること

一般的に、推薦システムでは特徴量に対してone-hot encodingによる符号化が行われ、これらの符号の組み合わせ（ANDなど）によって作成された特徴も有益なものがあるが、現実的にFEに膨大な工数がかかる。また、学習データに現れていないクエリ-項目の特徴量ペアには汎化できないという問題もある。

Factrization Machineや先行研究のDNNなど、低次元の密な埋め込みを使用したモデルは、FEの工数を削減するものの、ユーザー - アイテムのインタラクションが一部に局所的になっている場合などには、密な埋め込みはすべてのクエリ・アイテム対に対してゼロでない予測を導くため、過剰に一般化しすぎて関連性の低いアイテムが推薦される問題がある。

nogawanogawa commented 2 years ago

目的

推薦モデルにおけるMemorizationとGeneralizationの両立

アプローチ

Wide & Deep
- 2種類のNNを共同で学習させる
- Memorization : Wide network, 特徴変換による線形モデル
- Generalization : Deep network, 埋め込みによるフィードフォワードニューラルネットワーク

nogawanogawa commented 2 years ago

Wide & Deep

システム構成

システムの構成は下記のようになっている。

推薦の候補となるアイテムは数十万にも及ぶため、すべてのアイテムに対してスコアリングしているとO(10)msecで応答することができない。そのため、ユーザーからクエリがあった際には最初に検索によって候補となるアイテムを絞りこむ。

その後、ユーザの特徴（国、言語、人口統計など）、文脈の特徴（デバイス、時間、曜日など）、印象の特徴（アプリ使用年、アプリの履歴統計など)を活用してランキングが行われる。

性能評価

Wide & Deep モデルは、アプリストアのメインランディングページでのアプリ取得率を、対照群に対して +3.9% 向上させた。また、同じ特徴量とニューラルネットワーク構造を持つモデルのDeep部分のみを使用した別の1%グループと比較したところ、Wide & DeepモードはDeepのみのモデルに対して+1%の利得がありました（統計的に有意です）。

最終的にレスポンスタイムを14msecに抑えたらしい。

nogawanogawa / paper_memo