HarderThenHarder / transformers_tasks

⭐️ NLP Algorithms with transformers lib. Supporting Text-Classification, Text-Generation, Information-Extraction, Text-Matching, RLHF, SFT etc.
https://www.zhihu.com/column/c_1451236880973426688
2.12k stars 377 forks source link

torch.load显示"no module named model" #24

Closed Singal0927 closed 1 year ago

Singal0927 commented 1 year ago

您好,我在huggingface里使用torch.load方法加载pytorch_model.bin,但是显示"no module named model",请问这是为什么呢? ![Uploading image.jpg…]()

HarderThenHarder commented 1 year ago

Hi,我无法看到您上传的图片,因此不太确定您指的是哪个项目下的问题。

如果您是指UIE模型载入的时候报错,我可以提供一种可能的解决办法:

在您需要在载入模型的文件目录中放入 这个 文件,这个文件中指定了一些UIE的基本方法。

希望可以解决您的问题。

Singal0927 commented 1 year ago

您好!十分感谢您的解答。我参照您的代码自己敲了一遍,感觉受益良多。只是在保存tokenizer时遇到了新的问题:tokenizer.save_pretrained(cur_save_dir)报错“no entry found for key”,并且我在网上找不到相关原因

截屏2023-03-31 13 18 31
Singal0927 commented 1 year ago

您好!十分感谢您的解答。我参照您的代码自己敲了一遍,感觉受益良多。只是在保存tokenizer时遇到了新的问题:tokenizer.save_pretrained(cur_save_dir)报错“no entry found for key”,并且我在网上找不到相关原因

截屏2023-03-31 13 18 31

虽然“tokenizer.save_pretrained(cur_save_dir)报错了”,但是目录下扔保存了几个与tokenizer相关的文件

截屏2023-03-31 13 20 38
HarderThenHarder commented 1 year ago

抱歉,我没有遇到过类似的问题。

不过我建议您可以尝试对齐一下我环境下 transformerstokenizer 的版本:

transformers==4.22.1
tokenizers==0.12.1
Singal0927 commented 1 year ago

您好,我刚更新了tokenizers库,现在问题已经解决了。特别感谢您愿意分享pytorch版的UIE并耐心回答我的小白问题,我的毕业论文有救了[鞠躬][鞠躬]

HarderThenHarder commented 1 year ago

恭喜 :)