URL

https://arxiv.org/abs/2402.13598
Affiliations
- Lin Ning, N/A
- Luyang Liu, N/A
- Jiaxing Wu, N/A
- Neo Wu, N/A
- Devora Berlowitz, N/A
- Sushant Prakash, N/A
- Bradley Green, N/A
- Shawn O'Banion, N/A
- Jun Xie, N/A
  Abstract
- Large language models (LLMs) have revolutionized natural language processing.However, effectively incorporating complex and potentially noisy userinteraction data remains a challenge. To address this, we propose User-LLM, anovel framework that leverages user embeddings to contextualize LLMs. Theseembeddings, distilled from diverse user interactions using self-supervisedpretraining, capture latent user preferences and their evolution over time. Weintegrate these user embeddings with LLMs through cross-attention andsoft-prompting, enabling LLMs to dynamically adapt to user context. Ourcomprehensive experiments on MovieLens, Amazon Review, and Google Local Reviewdatasets demonstrate significant performance gains across various tasks.Notably, our approach outperforms text-prompt-based contextualization on longsequence tasks and tasks that require deep user understanding while beingcomputationally efficient. We further incorporate Perceiver layers tostreamline the integration between user encoders and LLMs, reducingcomputational demands.
  Translation (by gpt-3.5-turbo)
大規模言語モデル（LLMs）は自然言語処理を革新しました。しかし、複雑で潜在的にノイズの多いユーザーインタラクションデータを効果的に組み込むことは依然として課題です。この課題に対処するために、私たちはUser-LLMという革新的なフレームワークを提案します。このフレームワークは、ユーザーエンベッディングを活用してLLMsをコンテキストに位置付けします。これらのエンベッディングは、自己教師付きの事前学習を使用して多様なユーザーインタラクションから抽出され、潜在的なユーザーの選好と時間経過に伴う進化を捉えます。私たちは、これらのユーザーエンベッディングをLLMsとクロスアテンションおよびソフトプロンプティングを介して統合し、LLMsがユーザーコンテキストに動的に適応することを可能にします。 MovieLens、Amazon Review、Google Local Reviewのデータセットでの包括的な実験により、さまざまなタスクで著しい性能向上が示されました。特に、私たちのアプローチは、長いシーケンスタスクや深いユーザー理解を必要とするタスクで、テキストプロンプトベースのコンテキスト化を上回りながら、計算効率が良いことが示されました。さらに、Perceiverレイヤーを組み込むことで、ユーザーエンコーダーとLLMsの統合を効率化し、計算要件を削減しています。
Summary (by gpt-3.5-turbo)
LLMsを活用したUser-LLMフレームワークが提案された。ユーザーエンベッディングを使用してLLMsをコンテキストに位置付けし、ユーザーコンテキストに動的に適応することが可能になる。包括的な実験により、著しい性能向上が示され、Perceiverレイヤーの組み込みにより計算効率が向上している。

AkihikoWatanabe / paper_notes

User-LLM: Efficient LLM Contextualization with User Embeddings, Lin Ning+, N/A, arXiv'24 #1235

URL

Affiliations

Abstract

Translation (by gpt-3.5-turbo)

Summary (by gpt-3.5-turbo)