Closed nogawanogawa closed 1 year ago
産業界の推薦システムで深層学習の能力を活用しようとすると、実世界のユーザー行動から得られるデータの特徴と問題に悩まされる。 これらのデータは、NLPやCVのような従来のディープラーニングの問題とは2つの点で大きく異なっている。
リアルタイムの顧客のフィードバックとインタラクションをモデルに反映
あまり詳しくはわからないけど、2つのテーブルT0,T1を使用して、ハッシュに重複が生まれないように異なるアドレス解決(h0, h1)を使用してハッシュを管理するらしい。
ただ、それでもメモリが枯渇する恐れがあるので、対応している。 基本的にハッシュ衝突は精度を下げる一つの要因になるので、望ましくない。
そこで、
を理由にevictしてる模様。(管理効率化のため) 要するに精度に影響がほとんどないものはtableに残ってなくていいよね、という発想っぽい。
基本的にはアプローチのフローにしたがって学習が行われる。オンライン学習時の肝はonline joinerで、これを上手に管理することで効率よく学習している模様。
しかもパラメータサーバー(PS)は最後の更新後に更新されたパラメータだけを更新するようにできているらしく、これによってオンラインでのモデル更新をおおよそダウンタイムなしで実現している。
一応、各日付毎にtrainのsnapshotを残しているようで、なんかあってもモデルの切り戻しが出来るようになっている。
ー>ハッシュ衝突を抑えると精度が上がる
ー>オンラインでも同様の結果になる。
-> 同期の間隔は短いほうが精度が高い(だから頻繁に学習できる方がビジネス的には良さそう)
論文URL
https://arxiv.org/abs/2209.07663
著者
Zhuoran Liu, Leqi Zou, Xuan Zou, Caihua Wang, Biao Zhang, Da Tang, Bolin Zhu, Yijie Zhu, Peng Wu, Ke Wang, Youlong Cheng
会議
ORSUM@ACM RecSys 2022
背景
産業界の推薦システムで深層学習の能力を活用しようとすると、実世界のユーザー行動から得られるデータの特徴と問題に悩まされる。 これらのデータは、NLPやCVのような従来のディープラーニングの問題とは2つの点で大きく異なっている。
目的
リアルタイムの顧客のフィードバックとインタラクションをモデルに反映
アプローチ
ひとことメモ
recsysの出てないworkshopの論文だった. TikTokのオンライン学習の仕組み。