[2024/04/03]推薦・機械学習勉強会

Hayashi-Yudai commented 6 months ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は合田/hakubishin3、角川/nogawanogawa、林/python_walker まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912）よりご連絡ください！

Wantedly では隔週水曜日に

といった話をする「推薦・機械学習勉強会」を開催しています。この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！会の間に話した内容もここにメモしましょう！

hakubishin3 commented 5 months ago

LLMを活用したチャットボット機能の開発プロセスと、実際にユーザーにリリースしてみて分かった課題についてまとめられている記事

Hayashi-Yudai commented 5 months ago

SpotifyでA/Bテストの分析基盤を統一した話。

分析基盤を作ることのメリット
- 意思決定を高速に行うことができる
- どうなれば施策が成功なのかというイメージを共有できるようになった
- 分析結果を施策に関わっていない人が見ても解釈が用意になった
ABテスト分析の難しさ
- 一般的に見る指標は複数にわたる。特定の指標が良くなって他の指標が悪くなっているような場合、意思決定のフレームワークをちゃんと作っていないと結論が人によって異なるということが発生しうる
SpotifyでのA/Bテスト設計
- 以下のメトリクスをテスト時に明確にする
  - Success Metrics：施策で改善することを目指している指標
  - Guardrail Metrics：良くならなくてもいいが一定以上悪化してほしくない指標
  - Deterioration metrics：悪化してはいけない指標
  - Quality metrics and tests：オンラインテストが意図通りに実施されていることを確認するための指標
- オンラインテストは以下の条件を満たしたときだけ本番に全体適用される
  - 1つ以上のSuccess metricsが有意に改善している
  - 全てのGuardrail metricsが有意に悪化していない
  - どのSuccess, Guardrail, Deterioration metricsも悪化していない
  - Quality metricsからオンラインテストの品質が保証できる

chimuichimu commented 5 months ago

NetflixではMetaflowという機械学習のライフサイクルを管理するフレームワークを中心にして、データサイエンティストや機械学習エンジニアがさまざまなMLシステムを構築・管理できるような仕組みを持っている
この仕組みはMetaflowの標準機能だけでなく、Metaflowスタックの各レイヤーに統合された拡張機能で実現している
本記事では以下の各レイヤーに対応する拡張機能を、ユースケースとともに紹介している
- Data: Fast Data
- Compute: Titus
- Orchestration: Maestro
- Deployment: Cache
- Deployment: Metaflow Hosting