Open wangqiangneu opened 4 years ago
对transformer model的改进，切入点是引入global target information，这个切入点比较赞，之前的一些工作，魔改model或者用retrieve similar sentences的方式，缺点太多。方法上前面包装的里一层外一层的，其实挺简单的，在编码端除了源语句子，还有一个prototype的sequence，就是可能的目标语译文，当然这里强调的是soft的，就是一堆表示啦，不是discret token. 有了这个prototype之后，decoder就有了两个query的来源，比较简单了。其实关键还是如何构造这个prototype，用的方法贼简单，就是word-level的translation，每个source word对应的topk个target word,取weighted的embedding作为soft的表示。这里联系上non-autogressive也是能整呀。。
global target information
prototype
soft
soft prototype
简介
对transformer model的改进，切入点是引入
global target information，这个切入点比较赞，之前的一些工作，魔改model或者用retrieve similar sentences的方式，缺点太多。方法上前面包装的里一层外一层的，其实挺简单的，在编码端除了源语句子，还有一个prototype的sequence，就是可能的目标语译文，当然这里强调的是soft的，就是一堆表示啦，不是discret token. 有了这个prototype之后，decoder就有了两个query的来源，比较简单了。其实关键还是如何构造这个prototype，用的方法贼简单，就是word-level的translation，每个source word对应的topk个target word,取weighted的embedding作为soft的表示。这里联系上non-autogressive也是能整呀。。论文信息
总结
soft prototype的东西，在这个基础上refine