[2020/05/07] Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #46

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[agatan]

TAPAS: Weakly Supervised Table Parsing via Pre-training

• https://arxiv.org/abs/2004.02349
• https://ai.googleblog.com/2020/04/using-neural-networks-to-find-answers.html

テーブルと Q が与えられた時に A を答えるタスクの論文。 BERT っぽい方法でテーブルの各 Cell のコンテンツと Q を同時に入力し、mask を剥がす pre-training を行う。

特殊なトークンとして column / row / rank embedding というのを定義している。（Cell のコンテンツに対して、今どの行・列にいるのかを示すための特殊トークン）

出力は「各セルが解答に使われる probability」と「解答に使われるセルをどう集約するか（Sum, Count, Average, None）」として学習する。

[yuko-i]

Semi-supervised learning について整理した

https://yukoishizaki.hatenablog.com/entry/2020/05/06/003322

すごく粗く説明

• MixMatch ラベル無しデータにK個のData Augmentationをして、モデル出力値のその平均を推測ラベルとして学習する(MixUp使う)

• ReMixMatch MixMatchの進化版。ラベル無しデータの推測ラベルを真のラベル分布に近くなるよう正規化した。Data Augmentationの強さも、弱めて推測ラベルを取得、学習は強めてる。

• FixMatch ラベル無しデータのモデルの出力値の確信度が一番高いデータでハードラベリング(疑似ラベル)。強い Data Augumentation のモデル出力と疑似ラベルで、出力が同じようになるように正則化。

きっかけはこちら 👉 https://github.com/wantedly/machine-learning-round-table/issues/34#issuecomment-577598681 SSLの話は、懸さんが勉強会で時折、話してくれてたので、論文読みやすかった。