Monolith: Real Time Recommendation System With Collisionless Embedding Table

[nogawanogawa]

論文URL

https://arxiv.org/abs/2209.07663

著者

Zhuoran Liu, Leqi Zou, Xuan Zou, Caihua Wang, Biao Zhang, Da Tang, Bolin Zhu, Yijie Zhu, Peng Wu, Ke Wang, Youlong Cheng

会議

ORSUM@ACM RecSys 2022

背景

産業界の推薦システムで深層学習の能力を活用しようとすると、実世界のユーザー行動から得られるデータの特徴と問題に悩まされる。 これらのデータは、NLPやCVのような従来のディープラーニングの問題とは2つの点で大きく異なっている。

• 特徴量は疎でカテゴリカル、かつ動的に変化することが多い
• 訓練データの分布が非定常であること

目的

リアルタイムの顧客のフィードバックとインタラクションをモデルに反映

アプローチ

• Monolith: オンライン学習基盤
  • オフライン・オンライン学習の両方を組み合わせ
  • kafkaでのストリーミングデータを使用して、鮮度の高いデータを取得してオンラインでのパラメータ学習
  • on the flyでのモデルパラメータの更新のため、前回更新から変更があるパラメータだけを効率よく更新

ひとことメモ

recsysの出てないworkshopの論文だった. TikTokのオンライン学習の仕組み。

[nogawanogawa]

背景

産業界の推薦システムで深層学習の能力を活用しようとすると、実世界のユーザー行動から得られるデータの特徴と問題に悩まされる。 これらのデータは、NLPやCVのような従来のディープラーニングの問題とは2つの点で大きく異なっている。

• 特徴量は疎でカテゴリカル、かつ動的に変化することが多い
• 訓練データの分布が非定常であること

[nogawanogawa]

目的

リアルタイムの顧客のフィードバックとインタラクションをモデルに反映

アプローチ

• Monolith: オンライン学習基盤
  • オフライン・オンライン学習の両方を組み合わせ
  • kafkaでのストリーミングデータを使用して、鮮度の高いデータを取得してオンラインでのパラメータ学習
  • on the flyでのモデルパラメータの更新のため、前回更新から変更があるパラメータだけを効率よく更新

[nogawanogawa]

システム概要

hash table

あまり詳しくはわからないけど、2つのテーブルT0,T1を使用して、ハッシュに重複が生まれないように異なるアドレス解決（h0, h1）を使用してハッシュを管理するらしい。

ただ、それでもメモリが枯渇する恐れがあるので、対応している。 基本的にハッシュ衝突は精度を下げる一つの要因になるので、望ましくない。

そこで、

• 古いアイテムは、ユーザーからアクセスされない
• 不人気のアイテムも高い適合度を持たない

を理由にevictしてる模様。（管理効率化のため） 要するに精度に影響がほとんどないものはtableに残ってなくていいよね、という発想っぽい。

Online Training

基本的にはアプローチのフローにしたがって学習が行われる。オンライン学習時の肝はonline joinerで、これを上手に管理することで効率よく学習している模様。

しかもパラメータサーバー（PS）は最後の更新後に更新されたパラメータだけを更新するようにできているらしく、これによってオンラインでのモデル更新をおおよそダウンタイムなしで実現している。

一応、各日付毎にtrainのsnapshotを残しているようで、なんかあってもモデルの切り戻しが出来るようになっている。

[nogawanogawa]

評価

ー＞ハッシュ衝突を抑えると精度が上がる

ー＞オンラインでも同様の結果になる。

-> 同期の間隔は短いほうが精度が高い（だから頻繁に学習できる方がビジネス的には良さそう）