search

920232796 / bert_seq2seq

pytorch实现 Bert 做seq2seq任务，使用unilm方案,现在也可以做自动摘要，文本分类，情感分析，NER，词性标注等任务,支持t5模型，支持GPT2进行文章续写。
Apache License 2.0
1.29k stars 209 forks source link

simbert_model.py文件中的117行 #48

Open singaln opened 2 years ago

singaln commented 2 years ago

您好，在simbert_model.py文件中117行的self.decoder()是哪里来的呢？？

920232796 commented 2 years ago

抱歉，前段时间更新了框架，这块忘记改了，还没测试到，我马上修改一下提交下，多谢指出～

920232796 commented 2 years ago

提交了，你看看，等有空我再去测试下。

berrybobo commented 2 years ago

simbert的生成相似句测试可以写下吗，参考苏神的，我遇到问题了，卡住了，十分感谢

920232796 commented 2 years ago

simbert的生成相似句测试可以写下吗，参考苏神的，我遇到问题了，卡住了，十分感谢

print(self.bert_model.sample_generate(text, out_max_length=40, top_k=30, top_p=0.7, repetition_penalty=1.5, temperature=1.5, sample_num=8)) 生成的句子有呀，哪里卡住了？

berrybobo commented 2 years ago

simbert的生成相似句测试可以写下吗，参考苏神的，我遇到问题了，卡住了，十分感谢

print(self.bert_model.sample_generate(text, out_max_length=40, top_k=30, top_p=0.7, repetition_penalty=1.5, temperature=1.5, sample_num=8)) 生成的句子有呀，哪里卡住了？

我刚才没看到，我仿着苏神写的，就是用transformer库输入和苏神的不一样，您这里好像是没有用transformer的封装，自己写的，我的问题是在生成时随机采样后原输入与输出concat后不知道该传入bert了，我感觉自己定义bert估计就行了，或者我用下您的方法试下，谢啦