[강의] 7강 - Temporal and Sequential Models (2)

[41ow1ives]

@ryubright @41ow1ives

[ryubright]

1. RNN for Sequential Recommendation

1.1 Recurrent Neural Networks

Markov chain기반의 모델은 Markov property의 가정으로 인해 user의 사용 기록을 모두 반영할 수 없다는 한계점이 있음 → Recurrent Neural Network의 적극 사용

1.2 GRU4Rec

• NLP와 sequential recommendation

  • NLP에서 사용하는 방법론은 sequential recommendation에서도 사용될 수 있다.

• 추천시스템에서 RNN을 어떻게 사용할까?

  • User의 action sequence를 session으로 나누어 session을 기반으로 추천하는 모델
  • Session은 user의 클릭, 본 상품, 방문한 사이트 등으로 이루어짐
  • User의 행동 기록을 기반으로 추천
  • context에 대한 모델링이 가능

• GRU를 sesison-based recommendation에 사용해보자

  • GRU4Rec에서는 user term을 사용하는 대신 user의 interation을 session으로 나누어 자연어 처리에서 문장과 같이 다룸

• item의 종류가 너무 많아서 학습이 어렵다면? → negative sampling

  • 모든 item에 대해 loss를 계산하는 것은 연산량이 너무 많이 증가한다는 문제점이 있다
  • 학습 시에는 mini-batch내의 일부 item을 negative item으로 사용하여 loss 계산

• 어떤 loss를 사용할까?

  • Top-K Ranking을 위한 BPR 및 TOP1 Loss 사용

1.3 Neural Attentive Recommendation Machine

• User의 행동의 주 목적을 어떻게 알 수 있을까? → user의 취향을 global과 local level로 나눠 보자.
  • NARM은 user의 행동을 전체 sequence를 보는 global recommender와 최근 행동에 집중한 local recommender로 나눔
• Global Encoder
  • Session에 걸친 전반적인 user 행동 분석
  • Session 전체 정보를 모델링할 수 있는 session behavior feature를 모델링
• Local Encoder
  • 최근 행동 $x_t$의 결과를 반영한 $h_t$ 기반의 attention을 통해 user purpose feature $c^l_t$를 모델링

2. Transformer-based Sequential recommendation

2.1 SASRec

User history의 long-term및 short-term dynamics를 모두 잘 반영할 수 없을까? → Transformer를 써보자

• Transformer와의 차이점
  • Dropout: item embedding layer에 dropout을 해주어 overfitting을 방지
  • Shared item embedding: 자연어 처리에도 많이 사용하는 방법으로 input embedding과 output 예측을 위한 parameter를 동기화
  • Training Loss: negative sample을 이용한 binary cross entropy를 사용 → 학습데이터가 적을 때 사용
• MC, RNN, CNN 기반의 모델에 비해 좋은 성능을 보이며, item간의 관계도 잘 모델링하였다.

2.2 BERT4Rec

BERT가 NLP에서 잘 된다고 하던데? → BERT도 써보자

• SASRec vs BERT4Rec
  • BERT4Rec에서는 양방향 모델링을 통하여 과거와 미래 정보를 모두 학습에서 사용함
  • Masked Language model과 같은 cloze task를 수행

3. Recent Extensions of Sequential Recommendation

3.1 Rec. with Side-information

S3-Rec: 추천 시스템의 데이터는 item sequence 뿐만 아니라 다양한 side-information을 포함하고 있으므로, 이를 효과적으로 활용하는 방법이 필요하다. self-supervised learning을 활용하여 이러한 정보를 반영하는 효과적인 representation을 찾아보자.

Self-Supervised Learning

• Self-supervised learning은 raw data로부터 representation을 학습하는 방법론
• 데이터가 풍부한 NLP, CV 분야에서 좋은 성능을 보임
• Raw data를 다양한 관점으로 바라봄으로써, 더욱 풍부한 데이터 상의 패턴을 찾아낼 수 있음

기본적으로 BERT4Rec의 구조와 유사하나, 총 4개의 auxiliary loss들을 활용하여 item-attribute, sequence-item, sequence-attribute, sequence-sequence 관계를 모델링함

• Assosiated Attribute Prediction Loss
  • item-Attribute correlation 학습
  • 아이템으로부터 아이템의 attribute를 예측
• Masked Item Prediction Loss
  • Sequence-Item correlation 학습
  • BERT와 유사하게 cloze task 수행
  • 주변의 양방향 context로부터 masking된 아이템을 예측함
• Masked Attribute Prediction Loss
  • Sequence-Attribute correlation 학습
  • 주변 context로부터 masking된 아이템의 “attributes”를 예측함
• Segment Prediction Loss
  • NLP와 달리 단일 item은 주변 컨텍스트와 연관성이 없을 수 있다
  • 따라서 보다 안정적이고 명확한 선호도를 학습하기 위해 단일 item이 아닌 item의 subsequence를 making함
  • 주변 context로부터 masking된 segment를 예측

3.2 Rec. with Contrastive Learning

데이터가 부족할 때에도 representation을 잘 학습하기 위해서 다양한 sequence augmentation을 동반한 self-supervised learning을 적용함

• Contrastive learning
  • one of the self-supervised learning approaches
  • 다양한 augmentation을 거쳐서 얻어진 augmented example들이 같은 example로부터 유래했는지를 비교-대조하면서 학습을 수행함
• CL4SRec: Sequence를 augmentation한 뒤, contrastive learning을 통해 item representations 학습
• Sequence augmentation: augmented sequence의 semantics가 원래 sequence의 semantics와 비슷해야 함
  • item crop
    • Subsequence를 sampling
    • 어디서 crop을 시작할지와 전체 중 어느정도 비율을 사용할지에 따라 결정
  • item mask
    • item 중 일부를 random probability로 masking
  • item reorder
    • 일부 subsequence를 $\beta$만큼 sampling하여 random permutation 진행