[2020/02/06] Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #34

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[agatan]

Multilingual Denoising Pre-training for Neural Machine Translation

• https://arxiv.org/abs/2001.08210
• Facebook AI Research

多言語版 BART を使って機械翻訳したら最強だった話

[agatan]

ImageBERT: Cross-modal Pre-training with Large-scale Weak-supervised Image-Text Data

• https://arxiv.org/abs/2001.07966
• Bing multimedia team, Microsoft

画像もテキストもいっしょに扱えるすごい BERT

[agatan]

TabNet: Attentive Interpretable Tabular Learning

• https://arxiv.org/abs/1908.07442

• テーブルデータに対しては Tree based なアプローチが主流

  • そもそもテーブルデータだと、超平面上でスパっと切るという操作が有効なケースが多い
  • interpretability

• なぜ NN でやりたいのか

  • データ量が十分多い場合に、より高い精度を求めたい
  • 画像みたいなデータを含むテーブルデータのときに e2e で学習できる
  • オンライン学習（continual learrning)
  • semi-supervised learning を始め、NN のいろんな技が使える

[yuko-i]

Kaggle DSB https://www.kaggle.com/limerobot/dsb2019-v77-tr-dt-aug0-5-3tta https://www.kaggle.com/toshik/37th-place-solution

[yuko-i]

👀 https://github.com/slundberg/shap