search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.85k stars 355 forks source link

[BUG]训练脚本报错 #85

Closed aihaidong closed 1 year ago

aihaidong commented 1 year ago

训练lora代码报错 AttributeError: 'ChatGLMTokenizer' object has no attribute 'eop_token_id' [tokenizer.eop_token_id] 是不是应该改成 [tokenizer.sp_tokenizer[tokenizer.eos_token]]

yuanzhoulvpi2017 commented 1 year ago

注意model_name_or_path的模型，要用我提供的模型

kiluar2020 commented 1 year ago

找到tokenization_chatglm.py 文件，修改类 class ChatGLMTokenizer，如下： 增加下面属性，可能因为升级的原因，导致原来的属性迁移了 @property def eop_token_id(self) -> Optional[int]: return self.end_token_id

yuanzhoulvpi2017 commented 1 year ago

不是啊，用我提供的chatglm6b-dddd这个版本

kiluar2020 commented 1 year ago

这样改一下代码也能启动训练了，不过效果如何我也不知道

mountbreeze commented 1 year ago

这个问题应该是新版本将函数eop_token_id改成end_token_id了，改一下应该就可以了

ghLcd9dG commented 11 months ago

transformers 4.30.2 版本无问题