您好！关于您的simbert_train.py的动态padding部分得到的token_type_ids有的就会类似于[0,0,0,0,1,1,1,0,0,0] 既然它是用来区分句子的，那到底拿1去padding还是0呢？

920232796 / bert_seq2seq

pytorch实现 Bert 做seq2seq任务，使用unilm方案,现在也可以做自动摘要，文本分类，情感分析，NER，词性标注等任务,支持t5模型，支持GPT2进行文章续写。

Apache License 2.0

1.28k stars 208 forks source link

Closed EddieChen324 closed 2 years ago

920232796 commented 2 years ago

0就可以，这个无所谓，最后loss计算的时候都会忽略掉的，而且计算attention的时候也会忽略掉。

EddieChen324 commented 2 years ago

好的！非常谢谢您！