wantedly / machine-learning-round-table

Gather around the table, and have a discussion to catch up the latest trend of machine learning 🤖
https://www.wantedly.com/projects/391912
305 stars 2 forks source link

[2023/11/01]推薦・機械学習勉強会 #218

Open zerebom opened 11 months ago

zerebom commented 11 months ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう!

発信のため、ここは public にしてあります。外部からの参加をご希望の方は樋口(https://twitter.com/zerebom_3) まで DM を送るか、Wantedly Visit の募集(https://www.wantedly.com/projects/391912) よりご連絡ください!

What

Wantedly では隔週水曜日に

といった話をする「推薦・機械学習勉強会」を開催しています。 この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう! 会の間に話した内容もここにメモしましょう!

prev: #216

Hayashi-Yudai commented 11 months ago

The architecture of today’s LLM applications

GitHubが公開している、どのようにしてLLMを使ったプロダクト開発を進めていくのがいいかという知見がまとまったブログ記事。

KKaichi commented 11 months ago

Fairness-aware News Recommendation with Decomposed Adversarial Learning Authors

内容 ニュースの推薦システムにおいて、女性ユーザーへの推薦が男性ユーザーへの推薦よりも有意に効果が低かったことが発見された。これは、性別に基づく好みのバイアスに起因する可能性があると考えられている。

Issueを投げた理由:推薦に関するミーティングで「男女差」が話題となったため。 こちらも読ませていただきました🙇‍♂️

例:推薦モデルは女性ユーザーにはファッションニュースのみをおすすめし、男性ユーザーにはNBAニュースのみをおすすめしようとする傾向がある.

提案内容:ユーザーの関心モデルを2つのコンポーネントに分解する提案を行っており、1つ目のコンポーネントは、ユーザーの行動から敏感なユーザー属性に関連するバイアスを捉えるバイアス意識のユーザー埋め込みを学習することを目指し、2つ目のコンポーネントは、公平性意識のニュースのおすすめを行うために主に属性に依存しないユーザー関心情報をエンコードするバイアスフリーなユーザー埋め込みを学習することを目指す.

貢献点 ・公平性意識のあるニュースのおすすめフレームワークを提案することによって、ニュースのおすすめにおける公平性を向上させることを探求した初の取り組みです。 • 公平性意識のニュースのランキングのためにバイアスフリーなユーザー埋め込みを学習するための分解された対抗的学習メソッドと直交性の正則化を提案しています。 • 実世界のデータセットでの豊富な実験が、我々のアプローチがニュースのおすすめにおける公平性を効果的に向上させることを示しています。

結果 提案手法は、わずかな性能の低下と引き換えに、ニュース推薦の公平性を効果的に改善できることを示す。

zerebom commented 11 months ago

Pythonでのパッケージング: エコシステムの理解と現場での活用

PyCon APAC2023で発表した内容です。Pytorchなどのインストールがうまくいかなくてつらかった経験をもとに、Pythonのパッケージマネジメント周りの全体像をまとめました

How to build your own Feature Store

Feature Storeの構築のフローチャートと構築のメリットをまとめたブログ記事。2020年の記事ですが、要件はあまり変わってないので、今も参考にできそうです。

  1. トレーニングデータとサービング用の一貫したフィーチャーエンジニアリング 学習時と推論時のインターフェースや実装を統一化できる
  2. フィーチャーの再利用を促進 複数のモデルに対して利用可能に
  3. フィーチャーの提供に対するシステムサポート (構築方法によっては)低レイテンシーでのサービングなどが可能に
  4. フィーチャーストアでの探索的データ分析 データサイエンティストは、利用可能な事前計算されたフィーチャーを発見し、それらのフィーチャーのタイプ(数値、カテゴリー)や、その記述統計、フィーチャー値の分布を確認できます。
  5. Featureの時間クエリ 過去のFeatureをトラックしたり集約できる
  6. セキュリティ、ガバナンス、トラッキング アクセス制御、ガバナンス、使用状況のトラッキングが可能です
  7. トレーニングデータセットの再現性を担保できる
  8. データドリフトの検知が可能

image

hakubishin3 commented 11 months ago

ウォンテッドリーにおける推薦システムのオフライン評価の仕組み

https://speakerdeck.com/hakubishin3/uontetudoriniokerutui-jian-sisutemunoohurainping-jia-noshi-zu-mi

第35回 MLOps 勉強会で登壇しました https://mlops.connpass.com/event/297976/

ML開発の一工程である「オフライン評価」に関する問題の解消に注力し、その結果として、推薦施策のリリース頻度が増加したり、オフラインメトリクスとオンラインメトリクスのズレを抑えることに成功しました。

ウォンテッドリーにおける推薦システム開発の流れ

https://www.wantedly.com/companies/wantedly/post_articles/864502

推薦チームが実践している推薦システムの開発プロセスやその工程の中身について紹介しています。

nogawanogawa commented 11 months ago

Learnings From Building the ML Platform at Mailchimp

半分は”Mikiko Bazeley”氏へのインタビュー、もう半分で、Virtual Feature StoreののFeatureFormの話をしている記事。

Feature Storeの分類

FeatureForm

image

イメージはDBやコンピューティングをどこで行うかをすべてconfigで設定できるようにしつつ、DSは環境を意識せずにTransformだけに集中できるようにしたツールぽい。

その他、データ系でビジネスとエンジニアリングをうまく連携させるにはどうすると良かったか、みたいなことが書いてある

Learnings From Building the ML Platform at Stitch Fix

似たような記事があった(こっちは全然読めてない、ワークフローとかDAGの話の模様)

Advent Calendar

弊社、今年は頑張るらしい