[1] PALR: Personalization Aware LLMs for Recommendation

[noparkee]

paper

---

• LLM은 1) 자체적으로 inductive learning이 가능하고, 2) 다양한 signal들을 쉽게 합칠 수 있고 3) 다른 도메인의 지식을 transfer 할 수 있고, 4) 다양한 지식과 추론 능력이 있음
• 하지만, LLM과 추천되어야할 아이템 사이에 knowledge gap이 있고, hallucination 이슈도 있고, 입력 토큰 길이나 효율적인 측면에서 한계가 있음. 따라서, LLM을 summarization이나 reasoning으로 많이 활용함.
• 이 페이퍼에서는 추천 시스템에 LLM을 이용해봄!

---

Framework

• Natural Language user profile generation llm을 이용해서, user의 선호도에 대한 summary 생성.

• Candidates retrieval hallucination 이슈를 해결하기 위해서 retrieval module을 사용함. 이를 통해서 task와 관련없는 결과를 제거.

• Item recommendation interaction history, natural language user profile, retrieved candidates를 합쳐서 llm의 prompt로~

• user profile 만들 때는 fine-tuning 안 한 llm을 사용하는건가?

Fine-Tuning

• llm fine-tuning할 때 사용한 prompt
• 좌측은, user와 과거 interaction이 있던 아이템을 보여주고, user와 미래에 interaction이 있을법한 아이템 리스트를 작성하도록
• 우측은, candidate item 중에서 미래에 user와 interaction이 있을법한 아이템을 찾도록
• 이 때의 output은? 데이터셋에 포함되어 있는건가?
  • -> log 상에서 자른거 같음. 약간 time window 처럼

Experiments

• HR, NDCG 사용해서 evaluation
• 성능 좋다~

---

LLM이 다양한 정보들을 하나의 프레임워크로 합치기 좋고 (다 자연어로 바꿔서 넣으면 되니까), 대화형 추천, 설명가능한 추천 등 복잡한 추천 시나리오를 쉽게 제공할 수 있으니 잘 활용해보자~!