zerebom commented 10 months ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は樋口(https://twitter.com/zerebom_3) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912）よりご連絡ください！

What

Wantedly では隔週水曜日に

といった話をする「推薦・機械学習勉強会」を開催しています。この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！会の間に話した内容もここにメモしましょう！

prev: #205

hakubishin3 commented 10 months ago

Uber における TTE(Two Tower Embeddings) システムの構築、活用に関する記事
運用
- 検索の候補集合の取得
- 下流タスクにおける特徴量として採用
TTEを導入するモチベーションって何？
- Localizationのコストを下げる
- 学習・推論コストを下げる
- 特徴量の拡張性を増やす
工夫した点は？
- ネガティブサンプルの作り方
- クエリタワーとアイテムタワーの間に共有レイヤーを入れる(store_idのembedding layerの共通化?)
- user_id のプロキシとして注文済みのストアの時系列を採用、モデルサイズの削減
TTEの展開
- 都市レベル -> グローバル -> グローバル + Contextual

Hayashi-Yudai commented 10 months ago

LLMに論理関係を学習させるために対称学習的な手法を使ったらうまくいったということが紹介されている記事。文脈としてはLLMの知識蒸留で紹介されている。

解決しようとした課題：質問に対して論理関係をすっ飛ばして回答を導いてしまう事象
提案手法
- 教師モデル： (質問、回答) → (根拠) を生成するときに回答に摂動を加えた
- 生徒モデル： (質問、根拠) → (回答) を生成するときに、間違った回答を得る根拠を与えて回答もそれに伴ってひっくり返るように学習

nogawanogawa commented 10 months ago

ここで話し合った内容を基に、こちらのml-design-docフォーマットから必要な部分を抜粋し、Design Docを書いています。後のステップを進める中で、ここで決定した内容に追加・修正をすることはもちろんあります。

参考になる👀

ME5という文表現の埋め込みモデルに対して、日本語データでベンチマークを紹介した記事。多言語モデルなので日本語も使えるそう。ベンチマークの値を見る限りは結構良さそうなembeddingになっているように見える👀