[2023/08/22]推薦・機械学習勉強会

[zerebom]

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は樋口(https://twitter.com/zerebom_3) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！

What

Wantedly では隔週水曜日に

• 推薦の評価指標について議論したい
• 〇〇っていうライブラリ / フレームワークを導入してみたい
• 他社の基盤事例をみんなにシェアして自社の基盤開発に活かしたい
• もっと推薦を良くするためにどんなものが必要か議論したい

といった話をする「推薦・機械学習勉強会」を開催しています。 この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！ 会の間に話した内容もここにメモしましょう！

prev: #207

[zerebom]

MLOps Landscape in 2023: Top Tools and Platforms

2023年におけるMLOpsのツールを包括的にまとめたブログ。下記の分類に沿って各ツールを紹介している。

• End-to-end Machine Learning Operations (MLOps) platforms
• Experiment tracking, model metadata storage and management
• Dataset labeling and annotation
• Data storage and versioning
• Data quality monitoring and management
• Feature stores
• Model hubs
• Model quality testing
• Workflow orchestration and pipelining tools
• Model deployment and serving
• Model observability
• Responsible AI
• Compute and infrastructure
• GPU Cloud Servers
• [NEW] Serverless GPUs
• [NEW] Vector databases and data retrieval
• [NEW] Foundation model training frameworks

ここではいくつかのツールに絞ってピックアップ

MLOpsのtoolやプラットフォームをどう評価するべきか

チームのニーズに沿って、下記の観点で評価するとよい。

• Cloud and technology strategy
  • チームが使っているクラウドや、テクノロジースタック
• Alignment to other tools in the organization’s tech stack
  • チームが使っている他のテクノロジーツール(ex. CI/CD, コードレポジトリ).これらとどの程度統合できるか
• Commercial details
  • 商用的な詳細。SLA, SAO、予算・スケーリング要件に適合するか
• Knowledge and skills in the organization
  • チームのスキルやナレッジとツールの学習曲線
• Key use cases and/or user journeys
  • MLを使って解決したい主なビジネス課題とDSのニーズ
• User support arrangements
  • ドキュメントやチュートリアルなど、ベンダーのサポートの有無や、質、またはアップデートの頻度や安定性。
• Active user community and future roadmap
  • ツールにまつわるコミュニティ(ユーザや開発者が活発に利用・改善しているか)

E2E MLOpsプラットフォームはどんな機能を有しているか

例えば、Amazon SageMaker, VertexAI, DataRobot W&Bなどのツールのことなど。主に下記の機能を所有する。

• Data management and preprocessing: データのI/O, 前処理. ラベリング. バージョン管理. DA,ストレージシステムとの統合
• Experimentation and model development: ハイパラチューニング, モデルの自動選択, metricsの可視化
• Model deployment and serving: コンテナ化, API管理, サービングインフラの提供など
• Model monitoring and performance tracking: デプロイされたモデルの監視, ロギング, 異常検知, アラート
• Collaboration and version control: コード, モデル, 実験, 成果物のバージョン管理, 再現性の担保
• Automated pipelining and workflow orchestration: MLパイプラインの定義と管理, タスクスケジューリング、エラー処理など.Job実行を簡略化する
• Model governance and compliance: 倫理的配慮、プライバシー保護, 公平性評価など
• Integration with ML tools and libraries: 他のツールやライブラリとの統合

Experiment tracking, model metadata storage and management ツールの評価観点

下記のような観点を見ると良い。

• 料金・セキュリティ・サポート
• セットアップや統合はどの程度簡単か?
• メタデータ構造は簡単にスピード感を持ってカスタマイズ可能か？
• モデルや実験をバージョン管理市再現できるか? 下流のデータも追って追従できるか?
• メタデータのログと表示は可能か?オーディオやビデオのレンダリングは可能か?
• 実験やモデルの比較・可視化・検索・整理はできるか?
• モデルのレビューや共同作業はできるか?コメントや議論可能?
• CI/CD/CTとの統合はできるか

チームの用途が研究か製品化なのか?などユースケースとも照らし合わせることが寛容。

Feature storesツールの評価観点

• データの変換や、特徴量の抽出パイプラインを定義・管理することができるか
• FeatureのValidationが可能か
• 作ったFeatureを使って、簡単にModelをサービングできるか
• スケーラビリティやパフォーマンスは十分か
• フィーチャーのバージョニングは可能化
• フィーチャーのメタデータは管理できるか
• MLワークフローとの統合は容易か?

例えばFeast, Tecton, Featureform, VertexAI,などがある

[nogawanogawa]

Scaling the Instagram Explore recommendations system

インスタグラムのexploreの推薦システムの紹介記事

全体構成

全体構成はこんな感じ、3 stage recommendation. (retreaval + two tower + ranking)

retrieval

4種類くらいの方法で取得しているらしい。

two towerモデルをretrievalの一つとして使用している。

これで1000個に絞る。

1st stage ranking

Two tower modelを使ってretrieval, 候補を1000 -> 100個に絞る。

同じtwo towerではあるが、目的関数が異なる。

2nd stageの出力のtopKに含まれているアイテムを予測するように学習を行う模様。（特徴量抽出器として機能させているぽい？）

2nd stage ranking

multi-task multi label (MTML) neural network model.

を使ってランキングを作っているらしい。 ここでは複数のラベルを予測しており、それらを組み合わせられるようにしている。（あとから調整がが簡単というメリット）

その他、パラメータチューニングにはBayesian optimizationを使用しているらしい。