search

920232796 / bert_seq2seq

pytorch实现 Bert 做seq2seq任务，使用unilm方案,现在也可以做自动摘要，文本分类，情感分析，NER，词性标注等任务,支持t5模型，支持GPT2进行文章续写。
Apache License 2.0
1.29k stars 209 forks source link

您好 请问在simbert模型里面 seq2seq的loss比similarity的loss大的多是正常的吗？ #61

Open EddieChen324 opened 2 years ago

920232796 commented 2 years ago

两者能正常下降，大概率应该就是没问题

EddieChen324 commented 2 years ago

两者能正常下降，大概率应该就是没问题

您好 我把您关于similarity loss获得labels函数的最后一段的argmax给注释掉了 因为我看苏神的bert4keras这一块好像直接就把labels矩阵传过去了 请问您为什么要在那一块加argmax呀

920232796 commented 2 years ago

这块感觉问题不大，去掉也行。