[2024/05/27]推薦・機械学習勉強会

chimuichimu commented 1 month ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は合田/hakubishin3、角川/nogawanogawa、林/python_walker まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912）よりご連絡ください！

Wantedly では隔週水曜日に

といった話をする「推薦・機械学習勉強会」を開催しています。この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！会の間に話した内容もここにメモしましょう！

prev: #247

chimuichimu commented 1 month ago

RAG におけるドキュメントの Embedding の保管で、データ容量が大きくなってしまう

精度の影響を以下の3つの手法で確認

シンプルな1.の手法では全体的に精度が悪く、ドキュメントのサイズが大きくなった時の下がり幅も大きかった。一方で3.の rerank を入れた手法では元の embedding と同程度の精度が出せることが確認できた。

Google I/O で展示された Infinite Nature という生成的推薦とマルチモーダル意味検索デモについての記事

hakubishin3 commented 1 month ago

データ基盤は継続的に運用してバグを発見・修正する必要があるそのために管理しやすいSQLを書くためのポイントが紹介されている

KKaichi commented 1 month ago

ニュースカテゴリ説明の自動生成
- GPT-4を使用してカテゴリの説明を生成
- 実験で使用したMINDデータセット内の全270ニュースカテゴリの生成された説明の平均語数は57.7語であった プロンプト
  
  あなたは素晴らしいニュースライターです。読者に記事に関するより詳細で有益な情報を提供することで支援します。ユーザーが「The news category is category」という形式でニュース記事の特定のカテゴリを入力します。入力されたカテゴリについて約50語で詳細な説明を英語で提供してください。可能な限り、引用符（"）やアポストロフィ（'）、アスタリスク（*）、および同様の強調のための記号の使用を避けてください。

ユーザメッセージ

ニュースカテゴリはtv-golden-globesです。

出力

TV-Golden Globesカテゴリは、特にテレビ業界におけるゴールデングローブ賞に関連するニュースに焦点を当てています。これには、ノミネート、受賞者、式典での注目すべき瞬間、反応、そしてイベントを取り巻く論争やハイライトが含まれます。このイベントはテレビにおける優秀さを称えます。

カテゴリ説明を追加の入力特徴として推薦モデルに統合
- 𝐷𝑡𝑖𝑡𝑙𝑒をニュースタイトルテキスト、𝐷𝑑𝑒𝑠𝑐を生成されたカテゴリ説明として、推薦モデルの推論フェーズでは、BERTの特殊なSEPトークンを使用して𝐷𝑡𝑖𝑡𝑙𝑒と𝐷𝑑𝑒𝑠𝑐を連結し、生成されたテキストをニュースエンコーダに入力。
- 事前学習済みモデルDistilBERT-base（distilbert-base-uncased）とBERT-base（bert-base-uncased）を使用してエンコーディング

Hayashi-Yudai commented 1 month ago

営業の人に機械学習モデルを売ってもらうためにモデルの解釈性について考えた経験について紹介されている。

背景
- 顧客を説得して広告を表示するユーザーセグメントを判別するためのモデル「AIセグメント」を使ってもらいたい
- 実際に商談するのはエンジニアではなく営業のメンバー
重視したポイント
- 納得度：モデルの出力が直感的にただしそうと思えるかどうか
- 意外性：人によるセグメント分けに対して優位性があるかどうか
手法
- Global Surrogate Model：メインモデルの出力を近似する線形モデルを学習
- 納得度や意外性につながる説明をするための説明変数を選定
- 複数パターンの説明変数を使ったモデルを用意
  - 顧客にとってもっとも刺さる説明を営業メンバーが使い分けられるようにするため