[2020/03/12] Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #38

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[agatan]

Improving Deep Learning For Airbnb Search

• https://arxiv.org/abs/2002.05515

airbnb が 2018 年に書いていた Applying Deep Learning To Airbnb Search の続編。 DNN が出力するランキングと、実際にユーザが予約する listing の特徴量を見比べて、最適解とのずれを分析。 その結果を DNN のモデリングに組み込んでみるも、単純に突っ込むだけではうまく行かず... みたいな苦労話がいくつか書かれている。

[agatan]

Speeding Up Transformer Training and Inference By Increasing Model Size

• https://bair.berkeley.edu/blog/2020/03/05/compress/

ふつう training/inference にかかるコストや時間を削減しようと思ったら、モデルを小さいものにするというアプローチを取る事が多い。 が、transformer ではむしろ巨大なモデルを短い時間学習するほうが training にかかる時間と精度のトレードオフにおいて有利であることを実験で示した。 さらに、そうして得られた巨大なモデルを強めに pruning することで、小さいモデルより高い精度を保ちつつ、推論コストも下げられることを確かめている。

[agatan]

ELECTRA のコードが公開された

• https://ai.googleblog.com/2020/03/more-efficient-nlp-model-pre-training.html

昔の回ではなした ELECTRA のコードとブログが公開された。transformers で使える日も近そう。

[agatan]

あんまり読んでないけど面白そうなやつシリーズ

• https://arxiv.org/abs/2002.00585
• https://arxiv.org/abs/2003.00152
• https://arxiv.org/abs/2002.10260

[hakubishin3]

Learning Sparse Neural Networks through L0 Regularization

https://arxiv.org/abs/1712.01312

[koukyo1994]

Deep Hidden Physics Models: Deep Learning of Nonlinear Partial Differential Equations

http://www.jmlr.org/papers/volume19/18-046/18-046.pdf

[yu-ya4]

Measuring Compositional Generalization: A Comprehensive Method on Realistic Data

https://arxiv.org/abs/1912.09713

https://ai.googleblog.com/2020/03/measuring-compositional-generalization.html