[2020/08/13] Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #61

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[agatan]

REALM: Integrating Retrieval into Language Representation Models

• https://ai.googleblog.com/2020/08/realm-integrating-retrieval-into.html
• https://arxiv.org/abs/2002.08909
• ICML 2020

Open-domain Question Answering を解くために、explicit に外部の知識を活用できるモデルを作る話。 （BERT 以降は、巨大なモデルのパラメータに implicit に「知識」が埋め込まれることを利用するものが多かったが、それではすケースしないし「どんな知識を持っているのか」が外部からわからないことを問題視している。）

1. Retrieval のための Encoder を用意し、Query に関係の深そうな Document top-k を取得
2. [CLS] <Query> [SEP] <Document> のように concat してもう一つの Encoder に入力し、回答を得る
   • 正答の probability と、そのドキュメントが選ばれる probability の積を最大化するように学習
   • pretrain 時も全く同じ仕組みで学習する（最終的な問題が、pretrain 時は MLM で fine-tune 時は QA になる）

[agatan]

ぶっちゃけあんまり読んでないけど面白かったので時間余ったら話したいシリーズ。

Visual Chirality

• https://arxiv.org/abs/2006.09512

左右反転してもデータの分布が不変であることを仮定して Data augmentation で flip をやりがちだけど、意外と左右は非対称だよ、ということを調べた論文。 シャツのボタンやギターの持ち方など直感的にまずそうと理解できるものもあれば、男性の顎がなぜか顕著に分布が変わるなどの不思議現象もあって面白かった。

TF-Coder: Program Synthesis for Tensor Manipulations

• https://arxiv.org/abs/2003.09040

自然言語の説明文、入力例、出力例から tensorflow の計算グラフを求めるシステムを作る話。 基本的には探索で頑張るが、探索を効率化するために機械学習を使って価値関数を近似している。 ABC の簡単な問題くらいなら解けちゃいそう。

Big Bird: Transformers for Longer Sequences

• https://arxiv.org/abs/2007.14062

Transformer の計算量が O(n^2) なのをなんとかしたい系の論文。（ Reformer とかとモチベーションは同じ） Random Attention, Window Attention, Global Attention を組み合わせることで O(n) に落としつつ精度もそこそこ維持している。 入力データが 512 系列を超えやすい（= 既存の Transformer 系だと truncate されやすかった）データを扱うタスクでは、より長い系列を利用することで SoTA を更新している。

[hiroto0227]

OPML 2020

How ML Breaks: A Decade of Outages for One Large ML Pipeline | USENIX

• Google のML Pipelineの壊れ方
• 10~15年に及ぶシステムの失敗のpostmortemをデータにし、19のカテゴリに手動で分けた。
  • 複数のデータから送信されたものがどこかで結合してラベルが変わった
  • パイプラインのパーミッションがなかった
• ML systemの問題はML関係のことは少ない
• Distributionの問題やCPUの問題、データの問題
• チームを作れ
  • distributed data processing skils
  • MLを極めるよりもテストを優先した方が？
  • testやdistributed systemに注視すべき
  • Monitoringする仕組み(個人の感想: リアルタイムでモニタリングしたい)
  • dataやmodelやbinariesのversioning

Auto Content Moderation in C2C e-Commerce | USENIX

• メルカリ
• 自動でcontent違反のアイテムを検知する。
• negativeデータが少ないので、positiveをトピックごと(武器、,,,)に分けて、1トピック1モデルで学習
• モデルはGBDT(少ないデータでも比較的精度が良い)とGMU(deep)
• Message queueの使い方
• Horizontal Pod Autoscaler (k8s)によってbilling costを削減した。
• coverageが554%増えた。