[강의] 10강 - Case Study Industrial Recommender Systems

[41ow1ives]

@kimeunh3 @jwj51720 @Jeong-Junhwan

[Jeong-Junhwan]

1. System Design for Recommendation

1.1 Batch vs Real-time Prediction

무조건 어느 하나가 좋다고 볼 수는 없으니 상황에 따라 잘 선택해야함

Batch prediction (processing)

• 특정 주기마다 분석하고, 예측 결과를 업데이트
• 이미 계산된 결과를 look-up table에서 가져오니까 빠름
• Serving과 computation이 분리되어있어 안정적임
• operational load가 적음
• 실시간 추천이 필요하지 않은 경우 유용 (식료품, 직업 등)

Real-time prediction (processing)

• 실시간으로 분석하고, 예측 결과를 업데이트
• 즉각 대응 하니까 cold-start users에 유용
• request가 오는 경우에만 계산하니까 계산 자체에 대한 cost는 줄어들 수 있음
• 실시간 추천이 필요한 경우 (shopping, music, video 등)

이후 내용은 Real-time을 기준으로 설명

1.2 Candidate Generation and Ranking

• 아이템이 너무 많은데 매번 모든 아이템에 대해서 다 계산하고 그걸 정렬하는 것은 너무 많은 cost를 요구
• Candidate Generation을 거치고, 이후 해당 아이템들에 대해서 Ranking을 하는 방식

Candidate Generation (Retrieval)

• 수백만개의 아이템에서 수백개의 아이템을 추려내는 과정
• 빠른 대신, 정확도가 떨어짐
• 학습된 Embedding 기반 Approximate Nearest Neighbors (ANN) 방법을 주로 사용

Ranking

• Candidate Generation에서 얻어진 수백개의 아이템을 sorting하는 과정
• 느린 대신, 정확함
• 추가적인 Features 사용
• 우리가 아는 여러가지 model (DNN, XGBoost 등) 사용 가능

Example 1 (Youtube Recommender System)

• Candidate Generation
  • 우리가 흔히 아는 Embedding - Neural Network - Softmax 방법을 사용하여 학습
  • 이후 Serving에서는 Softmax를 안쓰고, 학습된 Embedding을 활용해 ANN을 사용함
• Ranking
  • 마찬가지로 training과 serving에서 각각 다른 방법을 이용함

1.3 Offline and Online

Offline

• 모델 학습과 같은 batch process 수행
• 데이터를 feature store로 로딩
• 오래 걸리고, trial & error를 요구하는 실험적 과정

Online

• Offline에서 학습한 결과를 Serving
• Candidate Generation 및 Ranking으로 구성

1.4 Industrial System Design

Retrieval <-> Ranking, Offline <-> Online 총 4가지 경우로 구분해볼 수 있다. 이미지 출처: https://eugeneyan.com/writing/system-design-for-discovery/

Retrieval & Offline

• Training data를 이용해 embedding 학습
• 학습된 embedding을 이용해 Approximate Nearest Neighbor의 index 생성
• 이 index는 Online에서 조회하는데 사용

Ranking & Offline

• Ranking 모델 학습에 사용할 Feature 생성 (Feature store)
• 생성한 Feature와 기존 data를 이용해 Ranking model 학습

Retrieval & Online

• 들어온 요청에 따라 Embedding vector 생성
• Embedding vector와 ANN index를 이용해 candidates 생성

Ranking & Online

• Feature store를 candidates와 결합
• ranking model을 이용해 최종 결과 산출

2. Industrial Examples

2.3 From Two-stage to Four-stage

Filtering, Ordering 과정이 추가됨 이미지 출처: https://eugeneyan.com/writing/system-design-for-discovery/

Candidate Generation

• Retrieval
  • 기존과 동일
• Filtering
  • 추출된 후보 중, 부적절한 것 제거 (성인 인증, 국가 별 제한 등)
  • Offline에서 Flitering을 생성하고 Online에서 적용

Ranking

• Scoring
  • 추출된 후보들에 대해 적절한 score를 계산하여 할당
• Ordering
  • 최종 추천 결과 선택 및 정렬
  • 비즈니스 로직 등 고려

Example

• 이런 Four-stage architecture는 대부분의 industrial RecSys 디자인 포괄 가능
• Playlist, Social Media Feed, E-Commerce, Streaming Service Home Screen 등

[jwj51720]

1. System Design for Recommendation

1.1 Batch vs. Real-time Prediction

• 추천의 결과는 key(유저), value(정렬된 아이템) 형태로 구성
• 주기마다 예측 결과를 업데이트: Batch processing
  • 서빙에선 look up operation으로 간단히 제공
  • 실패에 안정적. 이미 있는 결과를 줘도 됨
  • 실시간 추천을 하는 게 아니라서 load가 낮음
• 실시간으로 예측 결과를 업데이트: Real time processing
  • 재빠름. 시간에 민감한 context 고려하여 cold-start에 효과적
  • 요청하는 유저에 대해서만 계산하므로 cost를 줄일 수 있음

    1.2 Candidate Generation and Ranking

• 모든 것에 대해 f(u,i)을 구하고 정렬하는 것은 매우 비효율적
• ranking 이전에 candidate generation 작업을 거쳐 ranking을 세울 후보들을 간추림
  • candidate generation
    • 수백만 개의 후보를 수백 개로 축소
    • 물론 Precision의 희생하면서 속도를 높임
    • Approximate Nearest Neighbors (ANN) 방식을 주로 사용
  • ranking
    • 느리지만 정확
    • 다양한 알고리즘 사용해 수백 개의 후보 ranking
    • time-sensitive context(추가적인 feature)가 입력으로 들어가기도 함
• Youtube Recommender Systems
• 2018 ACM RecSys Challenge 상위권 솔루션은 이와 같은 two-stage recsys
• 여전히 MF도 좋은 성능

  1.3 Offline and Online

• Real-time recommendation을 위해서는?
  • Offline 상의 데이터, feature 생성 및 모델 학습 등의 작업 필요
  • 그걸로 Online 상에서 결과 생성
• 요약하면, offline 상에서 retrieval, ranking 하는 모델을 제작하고, online으로 이를 올림
• 이후 올라간 모델들은 요청에 따라 임무를 수행. retrieval부터 ranking 순서로 흘러감

  2. Industrial Examples

  2.1 Alibaba

• Taobao (오픈 마켓) 추천 시스템
  • Retrieval을 위해 graph embedding을 활용
  • DNN 기반의 Ranking 수행
• Taobao (오픈 마켓) 추천 시스템 2
  • 지식 그래프, 사용자 행동, 아이템 데이터 결합해 적응형 지식 그래프 생성
  • 이걸 사용자 profile, 행동 이력과 결합해 ATBRN 학습

    2.2 Facebook

• query encoder, document encoder 두 개의 two-tover network 사용
• 이 역시 Online, Offline, Retrieval, Ranking 영역이 나뉘어 있음

2.3 From Two-stage to Four-stage

• two-stage 구조를 확장하여 four-stage 구조
• candidate generation
  • Retrieval: 동일하게, 후보 아이템 집합을 추출
  • Filtering: 추출된 후보 중 부적절한 것(현재 사용 불가한 것)을 제거
• Ranking
  • Scoring: 남은 후보 아이템들에 대해 relevant score 계산
  • Ordering: 최종 추천에 포함될 아이템 선택 및 정렬
• 여기서도 Online, Offline 작업은 동일하게 나뉨. 그저 후보부터 랭킹까지의 과정이 4단계가 된 것일 뿐
• Personalized Music Discovery Playlist, Social Media Feed, e-Commerce “Add-to-cart” Recommendation, Streaming Service Home Screen 등 웬만한 산업적인 추천 디자인을 포괄 가능
• Instagram, Netflix, Walmart의 사례 소개