Depthwise Separable Convolutions for Neural Machine Translation

[msrks]

https://arxiv.org/pdf/1706.03059.pdf

概要： xceptionやmobilenetで使われた depse-wise-convolutionを 1D-convにも適用し（語順方向とchannel方向にseparatable） それをencoder、decoderに使うことで、NMTでSOTA

[ichikawa-y]

参考情報： Kerasの作者@fcholletさんのCVPR'17論文XceptionとGoogleのMobileNets論文を読んだ http://qiita.com/yu4u/items/34cd33b944d8bdca142d

[msrks]

implementation of slicenet in tensorflow https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/models/slicenet.py

[msrks]

timing signal https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/models/common_layers.py#L908