ItemSage: Learning Product Embeddings for Shopping Recommendations at Pinterest

nogawanogawa commented 2 years ago

論文URL

https://dl.acm.org/doi/10.1145/3534678.3539170

著者

Paul Baltescu, Haoyu Chen, Nikil Pancha, Andrew Zhai, Jure Leskovec, Charles Rosenberg

会議

KDD '22

背景

Pinterestでは、画像のシェア・閲覧に加えて、商品の購入が可能になっている。 Pinterestの主要コンテンツであるピンとは異なり、商品には様々な角度や文脈から撮影された複数の画像で構成され、タイトル、説明、色、柄などのメタデータが提供されており、データそのものの性質がPinと商品では異なる。

また、商品購入はクリックやブックマークなどに加えて、カートに追加・購入など、Pinとは異なるタイプのアクションに最適化した推薦が必要になる。

目的

Pinterestにおける商品購入までの体験をシームレスに行うため、Home画面での画像の探索・CloseUp画面での類似商品推薦・テキストによる商品検索などマルチモーダルに使用できるEmbedding空間の構築・利用

アプローチ

ItemSage : 商品の推薦にしようされるEmbedding
- マルチモーダル学習
  - Transformerベースのアーキテクチャを使用
  - Home画面での画像の探索・CloseUp画面での類似商品推薦・テキストによる商品検索のすべてで同じEmbedding空間を使用できるようにする
  - インフラコストの低減
- マルチタスク学習
  - ラベル付きデータが疎な目的に特化したモデルよりも性能がたかく、逆に密なデータが得られた場合に性能劣化しないようにする
  - ラベルが疎な目的に対して、パフォーマンスを向上出来る

nogawanogawa commented 2 years ago

背景

Pinterestのユーザーは、サービス内で画像を閲覧して、次のホームデコレーションのプロジェクトにインスピレーションを得たり、最新のファッションや美容のトレンドを把握したりしている。さらに、サービスの回遊の中で好みの商品を見つけた際には、シームレスに商品を購入する体験を実現することが望まれてる。

Pinterestの主要コンテンツであるピンとは異なり、商品には様々な角度や文脈から撮影された複数の画像で構成され、タイトル、説明、色、柄などのメタデータが提供されており、データそのものの性質がPinと商品では異なる。

また、商品購入はクリックやブックマークなどに加えて、カートに追加・購入など、Pinとは異なるタイプのアクションに最適化した推薦が必要になる。

nogawanogawa commented 2 years ago

Pinterestの商品購入に関するインターフェース

Home画面での画像の探索・CloseUp画面での類似商品推薦・テキストによる商品検索など、Pinterestでは画像推薦の形式が異なる。しかし、これらをシームレスに行うことで購買体験を向上させたい。

nogawanogawa commented 2 years ago

雑に考えたこと

そもそも別々のEmbを使ったら良いのでは？
- インフラコストがかかる
- Embeddingを定期的に学習していると継続的にコストが掛かるので、少ないほどうれしい
- Embeddingの移行コストも、複数種類に渡るとより大きくなる。これも少ないほうがうれしい
- -> なので、マルチモーダルに使用できる唯一のEmbeddingが利用されいていることが望ましい

nogawanogawa commented 2 years ago

ItemSage

商品

商品
- 画像のリスト
- 角度、コンテキストが異なる様々な画像
- テキスト
- タイトル、説明、など12種類のテキスト
- 1つのフィールドに複数値がある場合はconcatして使用
- 語彙を用いて数値IDにマッピング, 語彙外のトークンは破棄される。
  - 200,000語のuni-gram
  - 1,000,000語のbi-gram
  - 64,000のtri-gram
ラベル
- クエリ：CloseUpとSearchのどちらの検索で使用された
- アクション：クリックと保存はコンテンツに対するアクション、カートに入れるはショッピングに関するアクションとしてラベル付け