[2020/10/22] Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #69

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[hakubishin3]

Characterizing the bias of compressed models

https://arxiv.org/abs/2010.03058

Pruning や Quantization による圧縮は全体的に見ると精度はあまり落ちないが, 一部のサブグループに対して大きな精度劣化をもたらしバイアスを増幅することを, 性別や年齢といった属性の不均衡が大きい CelebA を使って検証した.

またプライバシーの観点から保護されることの多いラベルを使えない状況を考慮し, 上記の問題をモニタリングするための取り組みも提案している. 精度劣化の激しい画像を Compression Identified Exemplars (CIE) と呼称して, CIEを抽出してオーバーインデックスできるような取り組みを示す.

Modal CIE と Taxicab CIE の2つの指標を試した結果, 一般的なエラーメトリクスに比べてこれらの指標がCIEの出現に敏感であることと, 特に Taxicab CIE が検出に効果的であることが分かった.

[agatan]

Pre-training Tasks for Embedding-based Large-scale Retrieval

• https://arxiv.org/abs/2002.03932
• ICLR2020
• Carnegie Mellon University & Google

large-scale な information retrieval でよく用いられる Retrieval & Scoring の 2 step 構成のうち、Retrieval の方に注目して実験を重ねて評価している論文。 序盤はいわゆる Retrieval の説明でわかりやすいのでおすすめ。

• BM-25 / BoW + MLP / Transformer の比較
• Pre-training task の提案と比較
  • BERT で使われている MLM は retrieval の pre-training として適切なのか？
  • どんなタスクが retrieval に向いているのか？

を調べている。

• BM-25 は結構良い。BoW + MLP とかを適当に持ってくるくらいなら BM-25 を使うべき。
• MLM での pre-training はいまいち retrieval には効かない。fine-tune しても微妙な時は微妙。
• pre-training task によっては Recall @ 1 に強かったり Recall @ 100 に強かったりする。求める性質によって変える余地がありそう。

といった結果が出ている。