search

HarderThenHarder / transformers_tasks

⭐️ NLP Algorithms with transformers lib. Supporting Text-Classification, Text-Generation, Information-Extraction, Text-Matching, RLHF, SFT etc.
https://www.zhihu.com/column/c_1451236880973426688
2.12k stars 377 forks source link

您好，我将bert-base-chinese换成了roberta-base，然后报错了 #7

Closed yumogu closed 1 year ago

yumogu commented 1 year ago

image 您好！我把模型换成了roberta-base，然后报了上面的错误，我应该怎么修改代码！

HarderThenHarder commented 1 year ago

Hi，我已经将该问题修复。

您可以通过 pull 最新的代码来解决这个问题。

出现这个问题的原因：因为您使用了一个不需要 token_type_ids 的模型（roberta-base）。

在 Roberta 的 pretraining 过程中舍弃了 BERT 的 NSP（Next Sentence Prediction） 任务，这导致 roberta tokenizer 不会再返还 token_type_id 这一属性。

因此，我在 这里 兼容了这种不需要 token_type_id 的模型输入，并在 这里 兼容了不同模型的数据转换格式。