[2022/11/09]Machine Learning 輪講

[hakubishin3]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. https://github.com/wantedly/machine-learning-round-table/issues/167

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[hakubishin3]

Using vector representations for matching tasks to skills

フラウンホーファー研究機構における、受託した研究内容にマッチしたスキルの推薦タスク。

例えば

• Research request: We are searching for a solution to link a smart metering system of high-resolution electricity, gas and heat data with our intelligent cloud solution. In the cloud, we want to automatically process the data using machine learning to check for consistency and completeness and to enable load forecasts and cost optimization. We are also looking for the joint development of innovative business models.
• Skill:
  • AI-based autonomous actions

3つのアプローチで実験

• Keyword Binarizer (Keyword extraction algorithm YAKE! + binary)
• Keyword Embedding (Keyword extraction algorithm YAKE! + Word2vec trained by German Wikipedia corpus)
• Language Model (Sentence Transformers)

KEがいくらなんでも悪すぎる。Discussionでは語彙が専門的でありWikipediaコーパスで学習したW2Vで適切に埋め込みできてないのではと書いてあったが、それはLMも同じでは？と思った。

[nogawanogawa]

kNN-Embed: Locally Smoothed Embedding Mixtures For Multi-interest Candidate Retrieval

論文URL

https://arxiv.org/abs/2205.06205

著者

Ahmed El-Kishky, Thomas Markovich, Kenny Leung, Frank Portman, Aria Haghighi, Ying Xiao

会議

?

背景

DeepLearningの発展によって、推薦におけるcandidate retrievalはANNベースのものが多くなっている。 ただし、この方法はいくつかの問題をはらんでいる。

• ユーザーとアイテムの複数の表現を学習しないと、検索されたアイテムは互いに類似性が高い（単一興味だけに関連する）

目的

複数の興味を持つユーザーの嗜好をモデル化したcandidate retrievalの実現

アプローチ

• kNN-Embed
  • 球面k-meansを使用してアイテムのクラスタリング
  • ユーザが過去にエンゲージメントしたクラスタ内においてANN
  • さらに、ユーザーに近いユーザーがエンゲージメントしたクラスタ内においてANN

メモ

https://github.com/nogawanogawa/paper_memo/issues/65

[zerebom]

Operationalizing Machine Learning: An Interview Study

異なる企業のMLエンジニア20人に、45 ~ 75分間のインタビューをし、各企業のML開発におけるノウハウやペインをまとめた論文。

前提

• ProductionにおけるMLのライフサイクルには以下の4つがある
  • データ収集とラベリング
  • 特徴量生成とモデル実験
  • モデルの評価とデプロイ
  • モニタリング
• MLOpsにはVelocity, Validation, Versioningが求められる

ノウハウ(一部抜粋)

• 4.3.1 異職種の人とコラボレーションしよう
  • ドメインエキスパートと協業しよう
  • 異職種の人とMLチームが意図的に話せるようにしてる
• 4.3.2 モデルでなく、データに対しても反復処理ができるようにしよう
  • データをすぐにfetchできるようにするのは大事
• 4.3.3 収穫の逓減を考慮する
• 4.3.4 小さい変更が望ましい
  • MLで正確な実験をするにはseedやデータ変換や、あらゆる部分を揃える必要がある
  • バグを仕込まないよう、なるべくconfigだけ動かせれば良い状態を作りたい
• 4.4.1 Validationデータが動的になることを想定してパイプラインを作ろう
  • だいたいデプロイ後にサブセットに対する問題が発覚する
• 4.4.2 validation systemは標準化しよう
  • validation systemは標準化しておかないと、レビューも追実験も大変
• 4.4.4 製品指標とMLの評価を連動させよう
  • MAPとかでなく、cTRとか、churn rateとかとも紐付ける
  • 他のステークホルダーにも理解できるようにするべき