search

wantedly / machine-learning-round-table

Gather around the table, and have a discussion to catch up the latest trend of machine learning 🤖
https://www.wantedly.com/projects/391912
297 stars 2 forks source link

[2024/01/24] 推薦・機械学習勉強会 #231

Open Hayashi-Yudai opened 5 months ago

Hayashi-Yudai commented 5 months ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は合田/hakubishin3、角川/nogawanogawa、林/python_walker まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！

What

Wantedly では隔週水曜日に

といった話をする「推薦・機械学習勉強会」を開催しています。 この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！ 会の間に話した内容もここにメモしましょう！

prev: https://github.com/wantedly/machine-learning-round-table/issues/229

hakubishin3 commented 5 months ago

LLMのプロンプトをCI/CDで評価する。promptfooを使って

LLMのアウトプットの品質を評価するためのツール「promptfoo」が紹介されている OpenAIやGeminiなどをサポートしていて、品質評価のためのテスト機能が提供されている

KKaichi commented 5 months ago

UberでのTTEにBoWを活用した話

image ・2024年1月17日に公開 ・universally unique identifiers (UUIDs)（例えば，サービス利用者やお店のを表すID）はパフォーマンスに大きな正の影響を与える一方で，特徴エンべディングがスパースになってしまい，推論時間、訓練時間、およびパフォーマンスメトリクスに負の影響を与える． →Bag of Wordsのアプローチを導入することで，モデルサイズの削減 →レイヤーシェアにより，モデルサイズと複雑性をさらに減少することができた

Bag of Words

image ユーザIDを，以前利用した店のIDで表現することで，ユーザーID（数億単位のスケール）から店舗ID（数百万単位のスケール）への次元数を効果的に削減

※本日，別件で19:30まで予定があるため，話題の共有のみでよろしくお願いします🙇‍♂️

Hayashi-Yudai commented 5 months ago

Bluesky のフォロー推薦モデルを書いた

Bluesky APIを利用して、GNNベースの推薦モデルを構築し公開したという話をしている記事。

nogawanogawa commented 5 months ago

Personalizing the DoorDash Retail Store Page Experience

DoorDashのretail storeの推薦の話。

retail storeでは下記のような画面になっていて、縦横にスクロールできるようになってる。 元々はこれを手動でアイテムをピックアップしていたが、流石にそれは厳しいということで推薦を入れる運びになった。

image
  1. コレクション（縦方向の並び）の生成
    • オペレータが作ったもの、ルールベース、機械学習でのコレクションをそれぞれピックアップ
  2. コレクションの検索
    • ページに表示するコレクションを取得
    • 一度にすべてのアイテム（≠コレクション）をランキングするのは大変だが、コレクションに分割することで効率化しているらしい
  3. item（水平方向の並び）のランキング
    • コレクション内部のアイテムに関してランキング
  4. itemのpost process
    • 在庫切れや同種のアイテムが並ばないようにビジネスロジックを適用
  5. コレクションのランキング
    • コレクション内部のアイテムの平均スコアとかを見てるらしい
  6. コレクションのpost process
    • コレクション間での重複を排除したり、ビジネスロジックの適用
image
chimuichimu commented 5 months ago

Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models

※1：ユーザ×アイテムの評価値、のような2つで1組のペアに対する回帰タスク ※2：筆者らはこのバイアスをeccentricity biasと呼んでいる

image

Foundations of Vector Retrieval