[2024/09/04]推薦・機械学習勉強会

Hayashi-Yudai commented 2 months ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は合田/hakubishin3、角川/nogawanogawa、林/python_walker まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912）よりご連絡ください！

Wantedly では隔週水曜日に

といった話をする「推薦・機械学習勉強会」を開催しています。この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！会の間に話した内容もここにメモしましょう！

hakubishin3 commented 2 months ago

Indeed の、OpenAI の GPT を利用した求職者と求人のマッチング体験の向上の取り組み

求人情報を求職者に案内する「Invite to Apply」機能の文言のパーソナライズを強化、OpenAIのGPTモデルとファインチューニングを使って求職者の経歴や過去の職務経験がその求人に適している理由を提示することによって、求人の応募率 +20% 向上、応募以降の成功率が +13% 向上した。

Hayashi-Yudai commented 2 months ago

大量のデータの品質チェック(Quality Check; QC)にRedshiftとdbtを用いたサーバーレス体制を導入したことにより、処理の大幅な高速化と、コスト削減を実現したという話。

これまで：QC対象のデータをEC2インスタンスに落としてきてpandasでチェック。1回の処理に数日~数十日かかっていた
アップデート後：
- dbtを用いてQCのチェック項目を定義
- RedShift上で処理を実行
大きな変更点：
- Redshift上でデータの分散処理をできるようになった→ 処理の高速化
- 処理実行時だけサーバーが立つような体制になった → コスト削減 (数10 %ほどの削減効果を見積もっているらしい)

Slack APIの検索機能を活用してRAGを作った話。プロンプトで、ユーザーの要求に対する答えを探すためのクエリを生成させて、それをもとに情報を引っ張ってくるという方法を取っている。スライドの例を見る感じ、性能は結構良さそうに見える。

nogawanogawa commented 2 months ago

2015年〜2021年: Luigiベース
- 既存の知識・経験を活かしてLuigiベース
- ETLとMLのタスクの両方をLuigiでカバーできるとして採用
2022年〜2023年: Sagemaker + StepFunction
- データパイプラインと機械学習パイプラインとで、データエンジニアとDSの責務の分離
2024年 ~ Prefect
- PythonだけでMLパイプラインを完結
- Step Funtionの複雑な記法からPythonへ
- IaCについても必要最低限の知識で済むように
- DSがモデリングに専念できる