search

920232796 / bert_seq2seq

pytorch实现 Bert 做seq2seq任务，使用unilm方案,现在也可以做自动摘要，文本分类，情感分析，NER，词性标注等任务,支持t5模型，支持GPT2进行文章续写。
Apache License 2.0
1.28k stars 208 forks source link

请问为什么作为一个seq2seq模型可以载入Bert模型？是因为weighted参数大致相同，但是attention策略不同么？ #29

Closed ElderWanng closed 3 years ago

920232796 commented 3 years ago

这个模型就是bert模型，通过unilm设计的方式，去做seq2seq任务。

ElderWanng commented 3 years ago

THX