search

wangqiangneu / MT-PaperReading

Record my paper reading about Machine Translation and other related works.
36 stars 2 forks source link

19-EMNLP-Recurrent Positional Embedding for Neural Machine Translation #31

Open wangqiangneu opened 5 years ago

wangqiangneu commented 5 years ago

简介

对positional embedding的改进。原始的positional embedding（fixed）是由三角函数sin, cos根据不同位置产生的，是静态的，跟word content无关。然后这个PE再加上word embedding，作为self-attention。这个文章的思路是，把word embedding切成两部分，一部分还是表示word，另一部分用RNN（bi-dir or single-dir）进行位置表示

论文信息

总结