search

fastnlp / fastNLP

fastNLP: A Modularized and Extensible NLP Framework. Currently still in incubation.
https://gitee.com/fastnlp/fastNLP
Apache License 2.0
3.05k stars 451 forks source link

请问star-transformer只有encoder部分吗？ #388

Closed CrystalSixone closed 2 years ago

CrystalSixone commented 2 years ago

比如说想试试用star-transformer来做机器翻译，不知是否能提供decoder部分的代码呢？

yhcc commented 2 years ago

star-transformer只有encoder部分，没有decoder部分。

CrystalSixone commented 2 years ago

哦哦好的。进一步请教一下，没有decoder的部分是因为代码层面没有，还是说这个算法不适合推广到decoder？只在encoder部分应用就能达到比较好的效果了？谢谢！

QipengGuo commented 2 years ago

原始设计就没有decoder，这个工作主要还是针对分类问题的。算法适不适合decoder不好说，但并没有很直接的迁移方法，目前主流的生成方法还是单向的（encoder是双向的），所以不能直接采用相同的设计。虽然可以通过非自回归或Gibbs Sampling的方法直接实现文本生成，但这些思路还不是很主流。

CrystalSixone commented 2 years ago

原始设计就没有decoder，这个工作主要还是针对分类问题的。算法适不适合decoder不好说，但并没有很直接的迁移方法，目前主流的生成方法还是单向的（encoder是双向的），所以不能直接采用相同的设计。虽然可以通过非自回归或Gibbs Sampling的方法直接实现文本生成，但这些思路还不是很主流。

了解了，非常感谢您的回答！