shyashya / comment

0 stars 0 forks source link

Transformer详解 | 小青菜 #3

Open shyashya opened 4 years ago

shyashya commented 4 years ago

https://shyashya.github.io/2019/06/12/Transformer%E8%AF%A6%E8%A7%A3/

Transformer由论文《Attention is All You Need》提出,现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取,其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本,并注释该论文。 首先将这个模型看成黑箱操作,在机器翻译中,这个就是输入一种语言,然后输出另一种语言。它由编码器和解码器构