How to Index Item IDs for Recommendation Foundation Models

nogawanogawa commented 9 months ago

論文URL

https://arxiv.org/abs/2305.06569

著者

Wenyue Hua, Shuyuan Xu, Yingqiang Ge, Yongfeng Zhang

会議

SIGIR-AP 2023

背景

生成タスクである以上生成するIDに何らかの意味を持たせないと、全く見当違いのIDを生成してしまう恐れがある。しかし、LLMで扱えるような意味を持ったIDをアイテムに一意に割り当てるのは簡単ではない。アイテム数は膨大に存在しそれらに対して一意のIDを割り当てる必要があり、自然言語と互換性がありLLMの学習やプロンプトで扱えなければいけない。さらに、生成されたテキストが実際のアイテムと一致することを保証しなければいけない（ハルシネーションの回避）が、制約付き複合法を用いると長文生成能力を持つLLMの柔軟性を損なってしまう。

目的

生成的推薦で使用しやすいIDの生成方法の検討

アプローチ

生成的推薦で有効そうな4種類のインデックス作成手法を考案
- Sequential Indexing
- Collaborative Indexing
- Semantic (Content-based) Indexing
- Hybrid Indexing

Sequential Indexing

下記のように、ログに登場した順にIDを降っていく。

このとき同様のアイテムに対するインタラクションが発生した時にはそのIDを使用する。

Collaborative Indexing

協調フィルタリングの成分を反映させたインデックス法。アイテム（ノード）とその共起度（エッジ）をグラフ構造で表現し、ノードクラスタリングによってインデックスとなるラベルを決めていく

Semantic (Content-based) Indexing

コンテンツベースのインデックス。カテゴリ情報の組み合わせをIDとする。

Hybrid Indexing

複数の手法の組み合わせ。

ひとことメモ

OpenP5の関連論文

nogawanogawa commented 9 months ago

背景

LLMは自然言語やコンピュータビジョンのような分野に大きな影響を与えており、推薦タスクにも適用されている。中でもP5やM6Recのような最近の研究では、自然言語のコーパスを用いて学習されたLLMの生成的推薦を利用して推薦システムとして利用することを目的としている。

推薦をするに当たって、アイテムを識別する必要がある。通常、アイテムには豊富な情報があるが、これを完全にLLMに生成させるのは難しい。そのため、何らかの形でIDを利用するのが一般的である。

生成タスクである以上生成するIDに何らかの意味を持たせないと、全く見当違いのIDを生成してしまう恐れがある。しかし、LLMで扱えるような意味を持ったIDをアイテムに一意に割り当てるのは簡単ではない。アイテム数は膨大に存在しそれらに対して一意のIDを割り当てる必要があり、自然言語と互換性がありLLMの学習やプロンプトで扱えなければいけない。さらに、生成されたテキストが実際のアイテムと一致することを保証しなければいけない（ハルシネーションの回避）が、制約付き複合法を用いると長文生成能力を持つLLMの柔軟性を損なってしまう。

nogawanogawa commented 9 months ago

目的

生成的推薦で使用しやすいIDの生成方法の検討

アプローチ

生成的推薦で有効そうな4種類のインデックス作成手法を考案
- Sequential Indexing
- Collaborative Indexing
- Semantic (Content-based) Indexing
- Hybrid Indexing

nogawanogawa commented 9 months ago

P5の説明

参考プロンプト

According to the places user_1 has visited: location_1123, location_4332, location_8463, location_12312, can you recommend another place for the user?

このようなプロンプトで、Output: location_1934のような出力を得るようなタスクを想定している

nogawanogawa commented 9 months ago