[2021/07/08]Machine Learning 輪講

[hakubishin3]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #105

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[hakubishin3]

Using AntiPatterns to avoid MLOps Mistakes

https://arxiv.org/abs/2107.00079

MLOpsにおけるアンチパターンを紹介している. (思ったよりもモデリングの比重が大きかった)

• Data Leakage
  • データのタイムスタンプとデータが使えるタイミングのズレを考慮しない
  • 時間依存性が強いデータをtime splitしない
  • train test split する前にオーバーサンプリングする
• HARKing
  • 既知のテストデータセットに対する評価を何度も繰り返す
• 本番環境での誤動作の見逃し
  • 概念ドリフト
  • 敵対的な攻撃
• MLモデルに使うデータの取得に再現性がない
• etc.

## Innovating Faster on Personalization Algorithms at Netflix Using Interleaving https://netflixtechblog.com/interleaving-in-online-experiments-at-netflix-a04ee392ec55 ## Comparing the sensitivity of information retrieval metrics https://dl.acm.org/doi/10.1145/1835449.1835560 ## A probabilistic method for inferring preferences from clicks https://dl.acm.org/doi/10.1145/2063576.2063618

[zerebom]

CUPED

http://robotics.stanford.edu/people/ronnyk.link/2013-02CUPEDImprovingSensitivityOfControlledExperiments.pdf A/Bテスト時に、目的変数の分散を小さくすることで検出力を上げる手法。 A/Bテスト間でバイアスのない共変量(過去の実験の目的変数など)用いて目的変数を修正する。 目的変数の分散を、共変量の回帰直線との二乗誤差として計算することで小さくする。

引用元: https://booking.ai/how-booking-com-increases-the-power-of-online-experiments-with-cuped-995d186fff1d

過去の勉強会で紹介された下記スライドでも言及されている。 https://speakerdeck.com/shyaginuma/btesutoniokeruvariance-reduction

その他解説記事。

• https://medium.com/bbc-data-science/increasing-experiment-sensitivity-through-pre-experiment-variance-reduction-166d7d00d8fd
• https://towardsdatascience.com/how-to-double-a-b-testing-speed-with-cuped-f80460825a90

[nogawanogawa]

Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better

https://arxiv.org/abs/2106.08962

• DNNを実アプリケーションとして使用する際の精度と効率のトレードオフに関する調査
• 課題認識
  • モデルを作るにあたって"効率"が大事
• 整理する切り口
  • モデルの圧縮
  • 学習テクニック
  • 自動化
  • ネットワークの構造
  • インフラ

この辺を工夫しつつ、モデルの精度とのトレードオフを考慮することが良さそう

Be Careful When Interpreting Predictive Models in Search of Causal Insights

https://towardsdatascience.com/be-careful-when-interpreting-predictive-models-in-search-of-causal-insights-e68626e664b6

notebook: https://shap.readthedocs.io/en/latest/example_notebooks/overviews/Be%20careful%20when%20interpreting%20predictive%20models%20in%20search%20of%20causal%C2%A0insights.html

• モデルの解釈
  • SHAPのような解釈可能なツールは入力された特徴と予測された結果の間の最も影響の強い関係を特定するため解釈しやすい
  • この記事では、解釈の際の落とし穴について例を用いて紹介
    • 相関関係と因果関係が異なり、交錯因子等を考慮して考える例

個人的に、解釈性についてあまり詳しくなかったので、使い方含め今度なぞってみたい