takaki-otake
commented
3 days ago Netflix PRS 2024 - Applying LLMs to Recommendation Experiences
Netflix Research 主催のワークショップ Netflix PRS 2024 における eugeneyan さん（Amazon の Senior Applied Scientist）の発表。LLMの推薦システムへの応用を念頭に、LLMを利用したプロダクト開発の知見をまとめている。
課題と知見集
How to evaluate for specific tasks?
- Lesson 1.1: Simplify the problem (and thus evaluation)
- Lesson 1.2: Model-based evaluation scales better
- Lesson 1.3: Reference-free evals double as guardrails
How to scale for consumer apps?
- Lesson 2.1: Consider using a cache safely
- Lesson 2.2: Consider smaller, simpler models
- Lesson 2.3: Do you want throughput or latency?
How to ensure reliability?
- Lesson 3.1: You need (reliable) evals
- Lesson 3.2: You need guardrails to exclude defects
- Lesson 3.3: Keep it simple (and deterministic)
メルカリが生成AIを活用して日本のC2C ECの未来を定義する方法【Fully Connected San Francisco 2024】
- MercariAI Assist の裏側
- 東工大の岡崎研が公開しているSwallow-7b-instruct-hf をベースに QLoRA で fine-tune
- GPT-3.5 Turbo比で性能が1.3倍 & コストが1/14に
- 類義語辞書拡張
- Purchase nDCG
hakubishin3
nogawanogawa
Hayashi-Yudai
chimuichimu
KKaichi
Why
推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！
発信のため、ここは public にしてあります。外部からの参加をご希望の方は合田/hakubishin3、角川/nogawanogawa、林/python_walker まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！
What
Wantedly では隔週水曜日に
といった話をする「推薦・機械学習勉強会」を開催しています。 この ISSUE はその会で話すネタを共有するための場所です。
話したいことがある人はここにコメントしましょう！ 会の間に話した内容もここにメモしましょう！
prev: https://github.com/wantedly/machine-learning-round-table/issues/251