[2019/08/28] Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #14

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[agatan]

How to Train Your ResNet 8: Bag of Tricks

https://myrtle.ai/how-to-train-your-resnet-8-bag-of-tricks/

Single GPU x 26s で CIFAR-10 Accuracy 94% を達成する話。

[agatan]

On the Variance of the Adaptive Learning Rate and Beyond

• https://arxiv.org/abs/1908.03265

話題の RAdam についての話。Adam は初期ステップが不安定なので lr scheduling が有効だった。RAdam はヒューリスティックによる scheduling をやめて自動でいい感じにしてくれる。 Adam より良い Optimizer シリーズいっぱいある (Lookahead, RAdam, NovoGrad, ...)

[agatan]

Topic-Aware Neural Keyphrase Generation for Social Media Language

• https://arxiv.org/pdf/1906.03889.pdf
• ACL 2019

Topic を考慮しつつ Keyphrase Generation をすることで既存モデルより高い精度を達成した話。 NTM の部分は Vampire とほぼ同じに見える。 seq2seq と NTM を同時に学習する & decoder に NTM の結果を活用する。