Recommendation as Language Processing (RLP): A Unified Pretrain, Personalized Prompt & Predict Paradigm (P5)

[nogawanogawa]

論文URL

https://arxiv.org/abs/2203.13366

著者

Shijie Geng, Shuchang Liu, Zuohui Fu, Yingqiang Ge, Yongfeng Zhang

会議

RecSys 2022

背景

現在、推薦に関するタスクにいは様々ある。

• sequential recommendation
• rating prediction
• explanation generation
• review summarization
• direct recommendation

従来はこれらのタスクを行うためにはそれぞれ個別にモデルを構築していたが、現在は複数のタスク間で伝達可能な表現を共同で学習することで複数タスクを同時に学習しようとする動きがある。

目的

• 推薦に関する複数のタスクを同時に学習するパラダイムの構築

アプローチ

• P5 (Pretrain, Personalized Prompt & Predict Paradigm)
  • 推薦に関するタスクを言語処理のテキスト生成問題として扱う
  • タスク固有のアーキテクチャや目的関数を設計せず、同じ言語モデルで学習させる
  • 指示ベースのプロンプトで学習されたモデルは、新規のプロンプトや他ドメインであっても高いゼロショット性能を達成する

ひとことメモ

• すでに発表されていたみたいなのでお蔵入り
  • https://drive.google.com/file/d/1SgFsKiQFOUVoe3TUAZyBYiRHl5YWoEUr/view

[nogawanogawa]

背景

現在、推薦に関するタスクにいは様々ある。

• sequential recommendation
• rating prediction
• explanation generation
• review summarization
• direct recommendation

従来はこれらのタスクを行うためにはそれぞれ個別にモデルを構築していたが、現在は複数のタスク間で伝達可能な表現を共同で学習することで複数タスクを同時に学習しようとする動きがある。

[nogawanogawa]

目的

• 推薦に関する複数のタスクを同時に学習するパラダイムの構築

アプローチ

• P5 (Pretrain, Personalized Prompt & Predict Paradigm)
  • 推薦に関するタスクを言語処理のテキスト生成問題として扱う
  • タスク固有のアーキテクチャや目的関数を設計せず、同じ言語モデルで学習させる
  • 指示ベースのプロンプトで学習されたモデルは、新規のプロンプトや他ドメインであっても高いゼロショット性能を達成する

[nogawanogawa]

Prompt Collection

データセットの作り方には、各タスクに関するプロンプトテンプレートを用意し、その空欄に対して元となるログからデータを埋め込むことでプロンプトデータセットを生成している。

[nogawanogawa]

P5

P5では基本的なエンコーダ・デコーダフレームワークに基づいている。 このとき、入力には生の埋め込みシーケンスに位置エンコーディングを追加し、更にwhole word embeddingを加えたものを使用する。 これは、サブワード・トークンが同じ元の単語からのものであるかどうかを示すものになっている。

評価・説明・レビューのタスクでは単純にデコーディングした結果を答えとして使用する。 sequential, direct推薦ではビームサーチを使用してアイテムリストを生成し、sequentialではこの中から次に推薦されるアイテムを求める。 直接推薦では候補集合Sの中から、同様にアイテムを求める。

Loss

[nogawanogawa]

評価

[nogawanogawa]

Abulation study

Zero shot

スケーリングとパフォーマンスの関係

personalize方法

コスト