zerebom commented 1 year ago

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は樋口(https://twitter.com/zerebom_3) まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912）よりご連絡ください！

What

Wantedly では隔週木曜日に

推薦の評価指標について議論したい
〇〇っていうライブラリ / フレームワークを導入してみたい
他社の基盤事例をみんなにシェアして自社の基盤開発に活かしたい
もっと推薦を良くするためにどんなものが必要か議論したい

といった話をする「推薦・機械学習勉強会」を開催しています。この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！会の間に話した内容もここにメモしましょう！

prev: #169

zerebom commented 1 year ago

次世代のワークフロー管理ツールPrefectでMLワークフローを構築する

元Airflowの開発者がAirflowのイケてない部分を解決するという思想のもと作ったワークフローツールPrefectの利用事例紹介。パブリックデータを使ったサンプルコードと解説つき。
CAの広告配信プロダクトDynalystで利用。既存システムとの相性,リアルタイムログ監視,開発しやすさ,ワークフローの柔軟性,コストの観点から採用
メイン機能
- ワークフローの構成単位はTaskと呼ぶ、classを継承するかデコレーターをつける。
- Task間の依存関係をFlowと呼ぶ。With句の中でtaskを呼ぶか命令形で記述する。
その他オプション機能
- 動的に複数タスクを並列実行できる
- 他のタスクが成功したら発火するトリガー
- リトライ機能
- 前のTaskの出力に応じてTaskを分岐する
- slack通知
本番運用はPrefect CloudというWeb UIでの利用が推奨されている
- Prefectはワークフローの管理のみ行う。コードや実行環境は自分でつなぎこむ
  - = 柔軟にリソースを選択できる

データと AI の統合により BigQuery に非構造化データ分析を提供する

BigQuery ML を用いた非構造化データの直接処理が可能になる
たとえば、pdfを入力にタイトルを抽出するモデルの出力値をBQのインターフェースから利用可能になる

CREATE SEARCH INDEX my_index ON pdf_text_extract(ALL COLUMNS);
SELECT * FROM pdf_text_extract WHERE SEARCH(pdf_text, "Google");

Cloud functionで定義できる

Hayashi-Yudai commented 1 year ago

Data Quality Automation at Twitter

Twitterでのデータ品質担保の取り組み

CI/CD時にyamlファイルがGCSにアップロードされる。データが来たときにはそのyamlに基づいてDAGが生成されてテストが走る。テスト結果はPub/Sub、Dataflowを通してBigQueryに格納される。データ品質の自動テストを導入することで新しい処理機能のロールアウトを20%削減したらしい。

Command-line data analytics made easy

コマンドライン上でSQLっぽい感じでCSVを分析できるツール。

SELECT 
  date.fromtimestamp(purchase_ts) AS purchase_date,
  sum_agg(price * quantity) AS total
FROM csv('my_purchases.csv')
WHERE department.upper() == 'IT' and purchase_ts is not Null
GROUP BY 1
ORDER BY 1
TO json

出力をファイルに書き込んだり、matplotcliを使って描画したりできるのは便利そう。

hakubishin3 commented 1 year ago

20221116_MLOps勉強会_クックパッドマートにおける推薦タスクとMLOps

クックパッドマートにおける推薦モジュールのMLOpsが紹介されている
モデルの開発
- NotebookはEDAのみ、極力避けるように
- RecBoleによる最適なアーキテクチャの探索
モデルの運用
- オフライン指標とオンライン指標のモニタリング
- 社内の開発ツールでレポート作成、異常検知、slack通知

nogawanogawa commented 1 year ago

Monolith: Real Time Recommendation System With Collisionless Embedding Table

論文URL

https://arxiv.org/abs/2209.07663

著者

Zhuoran Liu, Leqi Zou, Xuan Zou, Caihua Wang, Biao Zhang, Da Tang, Bolin Zhu, Yijie Zhu, Peng Wu, Ke Wang, Youlong Cheng

会議

ORSUM@ACM RecSys 2022

背景

産業界の推薦システムで深層学習の能力を活用しようとすると、実世界のユーザー行動から得られるデータの特徴と問題に悩まされる。これらのデータは、NLPやCVのような従来のディープラーニングの問題とは2つの点で大きく異なっている。

特徴量は疎でカテゴリカル、かつ動的に変化することが多い
訓練データの分布が非定常であること

目的

リアルタイムの顧客のフィードバックとインタラクションをモデルに反映

アプローチ

Monolith: オンライン学習基盤
- オフライン・オンライン学習の両方を組み合わせ
- ハッシュ衝突を回避するために、 Cuckoo Hashmap を使用する
- kafkaによるストリーミングデータを使用して、鮮度の高いデータを取得してオンラインでのパラメータ学習
- on the flyでのモデルパラメータの更新のため、前回更新から変更があるパラメータだけを効率よく更新

memo

https://github.com/nogawanogawa/paper_memo/issues/66

wantedly / machine-learning-round-table

[2022/11/17]推薦・機械学習勉強会 #171

Why