search

920232796 / bert_seq2seq

pytorch实现 Bert 做seq2seq任务，使用unilm方案,现在也可以做自动摘要，文本分类，情感分析，NER，词性标注等任务,支持t5模型，支持GPT2进行文章续写。
Apache License 2.0
1.28k stars 208 forks source link

您好 请问在simbert模型里面 seq2seq的loss比similarity的loss大的多是正常的吗？ #61

Open EddieChen324 opened 1 year ago

920232796 commented 1 year ago

两者能正常下降，大概率应该就是没问题

EddieChen324 commented 1 year ago

两者能正常下降，大概率应该就是没问题

您好 我把您关于similarity loss获得labels函数的最后一段的argmax给注释掉了 因为我看苏神的bert4keras这一块好像直接就把labels矩阵传过去了 请问您为什么要在那一块加argmax呀

920232796 commented 1 year ago

这块感觉问题不大，去掉也行。