Training RNNs as Fast as CNNs

rild / TIL

today i learn

0 stars 0 forks source link

Training RNNs as Fast as CNNs #21

Open rild opened 6 years ago

rild commented 6 years ago

タイトル

Training RNNs as Fast as CNNs

著者

Tao Lei ASAPP Inc. tao@asapp.com

Yu Zhang MIT CSAIL yzhang87@csail.mit.edu

日付とか

12 Sep 2017 arXiv:1709.02755v2 [cs.CL]

rild commented 6 years ago

あぶすと

RNN の並列計算に際して, 時刻 h_t の計算は, h_t-1 が終わるまで計算できないことがボトルネックになるという潜在的な問題があった. cuDNN で最適化された LSTM 比で, 5-10 倍の計算速度を持った RNN に変わるモデルの提案を行っている. さらに, 提案したモデルを言語処理や分類問題と言った応用例で評価をしている.

rild commented 6 years ago

PyTorch と CNTK でオープンソースな実装例がある

rild commented 6 years ago

速さはCNNくらい.

rild commented 6 years ago

Simple Recurrent Unit (SRU)

rild commented 6 years ago

結論

SRU が, 自然言語処理と音声認識に置いて, 十分な性能を示しつつ, CNN と同程度の計算速度であることを示した.

rild commented 6 years ago

どんなネットワークなんじゃ...

なぜそんな早くてそんな性能が出るのじゃ...

rild commented 6 years ago

ここ？

rild commented 6 years ago

これもっとまとめる

なぜ早くなったのかと使い方とか

rild commented 6 years ago

今週末締め切り

rild commented 6 years ago

(明後日やん...!?)

rild commented 6 years ago

https://gist.github.com/tam17aki/1d5b3ad08201b7df48c7f25a169d0021

SRU Cell implementation with TensorFlow