[2019/11/13] Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #23

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[agatan]

[1908.05378] Multi-Task Self-Supervised Learning for Disfluency Detection

• 言い淀みや言い直しを検出する Disfluency Detection タスクの state-of-the-art
• ニュースコーパスに人工的に単語を足したり引いたりして作ったデータで事前学習 → fine-tune することで低リソースでも高い精度を達成する
• 事前学習では以下の 2 タスクを同時に学習する
  1. Sequence Tagging
     • 単語ごとに人工的に insert/delete された単語かどうかを予測するタスク
  2. Sentence Classification
     • 普通の文章 A と、それをいじった文章 A' を入力（ A [SEP] A' もしくは A' [SEP] A という形で入力する）
     • 「一文目が単語が欠けているという理由で壊れている」「一文目が単語が足されているという理由で壊れている」「二文目が単語が欠けているという理由で壊れている」「二文目が単語が足されているという理由で壊れている」 の 4 択問題

↓ sota 更新 & 学習データのうち 1 % (1000 sents) しか使わなくてもいい勝負

↓ BERT 先生をつかうだけでも結構良い精度が出ちゃっている。モデルサイズは全然 BERT より小さいし、組み合わせれば（feature concat）もっと良くなる。

[agatan]

[1911.04252] Self-training with Noisy Student improves ImageNet classification

• ImageNet test set の sota （ラベルなしの外部データあり）
• Teacher Model を学習 → soft pseudo label を作る → Student Model を学習 → Student Model を Teacher とみなして soft pseudo label を作る → ...
• 普通 Teacher-Student の枠組は distillation のために使われることが多いが、この実験ではむしろ student をどんどんおおきくしている
  • 小さいモデルからはじめて EfficientNet-B7 （と、さらに大きい L2）までつかう
• facebook が instagram のタグ付き 3.5 billion images で弱教師あり学習していたモデルより、300M unlabeled images で高い精度を達成している。

[agatan]

• 読んでない（読んだけどまだ理解できていない）けど XLM-R: State-of-the-art cross-lingual understanding through self-supervision が面白そう。 facebook は multi-lingual モデルずっとやってる

• [1910.06188] Q8BERT: Quantized 8Bit BERT