Hayashi-Yudai
commented
8 months ago オフラインとオンラインのA/Bテストを通じてオープンチャットのレコメンドモデルを改善
LINEでのオープンチャットのレコメンドモデルを改善するプロセスの話。
- オープンチャットレコメンドの難しさ
- 同じユーザーが短期間のうちに複数のチャットに参加するといったことが発生しにくい
- 同じチャットに対して再参加するといった動きは起きづらい (ECでのレコメンドとの違い)
- 使っているモデル: Field-aware Factorization Machines
- 開発の流れ
- オフラインテスト
- ポジションバイアス等を減らすために、レコメンド経由以外で発生したチャットへの参加を正解ラベルとして利用
- オンラインテスト
- ABテスト
- オフラインテスト
- オンラインテスト・オフラインテストの辛み
- サービスが軌道に乗ってきた段階で改善幅が小さくなり、オフラインテストとオンラインテストが相関しなくなってきた
- オンラインの結果を受けてオフラインをやり直し、再度オンラインという流れを繰り返していると、変更点が多岐にわたることで問題箇所が見えづらくなった
- 解決策：Adhoc ABテスト
- treatment群の比率を小さくしてABを行う
- 変更点を段階的にtreatment群に積み上げていって、変更箇所の効果を検証していく
- 最後に1:1分割でABテストを行う
chimuichimu
nogawanogawa
Why
推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！
発信のため、ここは public にしてあります。外部からの参加をご希望の方は合田/hakubishin3、角川/nogawanogawa、林/python_walker まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！
What
Wantedly では隔週水曜日に
といった話をする「推薦・機械学習勉強会」を開催しています。 この ISSUE はその会で話すネタを共有するための場所です。
話したいことがある人はここにコメントしましょう！ 会の間に話した内容もここにメモしましょう！
prev: https://github.com/wantedly/machine-learning-round-table/issues/237