search

wantedly / machine-learning-round-table

Gather around the table, and have a discussion to catch up the latest trend of machine learning 🤖
https://www.wantedly.com/projects/391912
307 stars 2 forks source link

[2019/09/04] Machine Learning 輪講 #16

Open agatan opened 5 years ago

agatan commented 5 years ago

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #15

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

agatan commented 5 years ago

Smaller, faster, cheaper, lighter: Introducing DistilBERT, a distilled version of BERT

BERT 以後どんどんモデルが巨大になっていっている。一番ひどいのは NVidia の https://nv-adlr.github.io/MegatronLM でパラメータ数が 8.5B とかいう超巨大モデルになっている。 軽量にしたいので distillation するよ、という話。

agatan commented 5 years ago

NeurIPS 2019 の採択が決まった

全然見てないけど見つけた paper たち。