E4SRec: An Elegant Efective Eficient Extensible Solution of Large Language Models for Sequential Recommendation

[jeonghunyoon]

* 의문점들

• ID에 포함된 collaborative information이 의미하는 것은 무엇인가?
  • Interaction을 표현하기 위해 user, item 식별로 사용하는 용도 아닌가?
  • Content 자체로 item을 표현하기에는 정보가 많이 필요하기 때문에?
  • ex) Item ID 43 : 해리포터 책(text, description, cateogry, ...)
• ID는 매우 큰데(huge number), collaborative signal은 매우 sparse 하기 때문에, ID information을 LLM에 incorporate 하는 것은 어려움
  • 논문에서 제안한 방식 : ID embedding을 LLM에 직접 주입(injection)
• E4SRec training이 있지만, LLM backbone을 tuning하는 이유는 무엇인가?
  • 주어진 template의 모든 instructions을 완료할 수 있도록 LLM을 변형시키는 것이 목적이며, 다양한 task에서의 instruction tuning을 수행
  • FLAN 논문의 instruction tuning 적용 (Finetuned Language Models Are Zero-Shot Learners)
  • 목적 : LLM의 zero-shot setting 성능의 향상을 위해 NLP task를 instruction 형태로 변환하여 fine tuning을 진행
  • Instruction tuning 이란?
    • Task별로 dataset을 구분지으면, task cluster 형성됨(NLI task, sentiment...)
    • 각 task는 여러개의 instruction template format으로 변환 가능
    • 평가시에는, 평가하고 싶은 task(a.k.a unseen task)를 제외한 나머지 task의 instruction tuning 수행후 unseen task에 대한 평가를 수행
  • 논문에서는 8B parameters 이상의 모델에서 instruction tuning의 효과가 나온다는 실험결과를 보여줌

[jeonghunyoon]

* 모델 구조 정리

1. Sequential recommendation model pretraining : SASRec
2. LLM instruction tuning : FLAN 기법 + LLaMA2-13B
   • Tuning에 사용된 데이터 : ? (FLAN에 사용된 데이터?)
3. E4SRec model training : LLaMA2-13B
4. E4SRec model deployment

[jeonghunyoon]

* Related works

* LLM recommendation

• Content-based recommendation : 만족스러운 결과를 달성하기 위해서는 rich semantic features 필요
  • P5, FLAN-T5, TALLRec, GenRec