[2019/07/31] Machine Learning 輪講

[agatan]

Why

Machine Learning 輪講は最新の技術や論文を追うことで、エンジニアが「技術で解決できること」のレベルをあげていくことを目的にした会です。

prev. #11

What

話したいことがある人はここにコメントしましょう！ 面白いものを見つけた時点でとりあえず話すという宣言だけでもしましょう！

[agatan]

Robust Neural Machine Translation with Doubly Adversarial Inputs

• https://ai.googleblog.com/2019/07/robust-neural-machine-translation.html
• https://arxiv.org/abs/1906.02443
• ACL 2019

機械翻訳のタスクにおいて、翻訳元の一単語を別の同義語に置き換えただけで翻訳文が大きく変わってしまう（ときには壊れてしまう）という問題がある。 そこでこの論文では Adversarial Example を生成し学習に使うことで、そういった操作に Robust な NMT を実現する方法を提案している。

• 入力文の一部を類義語で置き換える
  • 言語モデルを使って類似語を定義する
  • 置き換えによって translation loss が最大になるような単語を選ぶ
• 同様に decoder 側の入力も類義語で置き換える
• translater, language model を同時に学習する

[agatan]

Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings

• https://arxiv.org/abs/1904.11547
• SIGIR 2019

ad id ベースの embedding は CTR 予測に効くが、cold start 問題があって実際には使いづらい。 そこで、meta learning を用いて「データが集まったときに学習がスムーズに進むような、良い embedding の初期値」を作ろう、という提案。

（オンラインで embedding を更新していくという想定。ふつう新しくできた ad はランダムな初期値から始めるしかないが、meta learning を用いて ad features からいい感じの embedding 初期値を作ってそこから始めると cold start を緩和できる）

[Hayashi-Yudai]

https://towardsdatascience.com/stop-installing-tensorflow-using-pip-for-performance-sake-5854f9d9eb0c