search

AkihikoWatanabe / paper_notes

たまに追加される論文メモ
https://AkihikoWatanabe.github.io/paper_notes
21 stars 0 forks source link

コミュニティサービスにおけるレコメンデーションの変遷とMLパイプラインについて, PyCon'21 #413

Open AkihikoWatanabe opened 3 years ago

AkihikoWatanabe commented 3 years ago

https://speakerdeck.com/takapy/komiyuniteisabisuniokerurekomendesiyonfalsebian-qian-tomlpaipurainnituite?slide=40

AkihikoWatanabe commented 3 years ago

・ママ向けのQ&AサービスにおけるレコメンドとMLパイプラインについて紹介

◆レコメンドエンジンの変遷 　・Tensorflowで実装したMFから始まり、その後トピックを絞り込んだ上で推薦するためにLDAを活用したレコメンド、最終的にSoftmax Recommendationを開発 　　 Softmax Recommendation: https://developers.google.com/machine-learning/recommendation/dnn/softmax 　　 ユーザプロファイル（e.g. 行動ベクトル, ユーザの属性情報）等を入力とし、hidden layerをかませて最終的にアイテム次元数分のスコアベクトルを得る手法 　　 行動ベクトル=ユーザが過去にクリックしたQ&Aだが、質問ベクトルを得るために内容テキストは利用せず行動ログ+word2vecで学習 　　 類似質問検索による定性評価の結果良い結果、関連質問を抽出できるベクトルとなっていることを確認 　→ レコメンド手法の変遷につれ、ベンチマークを上回るようになっていった

AkihikoWatanabe commented 3 years ago

◆MLパイプラインについて 　・AWS Step FunctionsとAmazon Sagemakerを利用 　・AWS Step Functions 　　 AWS上の様々なサービスをワークフローとして定義できる（json形式でワークフローを記述） 　・Amazon Sagemaker 　　 機械学習向けのIDE 　　 notebook上でのデータ分析・モデル学習、実験管理や学習済みモデルのデプロイが可能 　　 Sagemaker Processingを用いることで、実行したい処理やインスタンスタイプを指定することで、notebookとは別の実行環境（コンテナ）で任意のpythonスクリプトを実行可 　　 image

　・ワークフローの定義=AWS Stepfunctions, スクリプト実行のリソース=Sagemaker Processingとして利用

AkihikoWatanabe commented 3 years ago

MLパイプラインについては下記資料により詳しい情報が書かれている https://speakerdeck.com/takapy/sagemaker-studiotostep-functionswoyong-itemlopshefalse-bu-wota-michu-sou