search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.95k stars 363 forks source link

显存 #78

Closed yangliuIOC closed 1 year ago

yangliuIOC commented 1 year ago

你好作者，为什么按照你的代码 ，batch 改成1 都不行 显存OOM

yangliuIOC commented 1 year ago

应该是 清华改了很多东西，作者没有跟着修改

yuanzhoulvpi2017 commented 1 year ago

是哪一个文件夹📁出现的问题。报给我一下

yangliuIOC commented 1 year ago

simple_thu_chatglm6b, 这个 文件，你应该是改了model_chatglm文件，所以以前能在24G跑通，但是现在清华又在这个文件上修改了点东西，所以必须要加载清华的model_chatglm，导致你的jupyter跑不通了，能不能把优化的点放到jupyter里

yuanzhoulvpi2017 commented 1 year ago

修复了因为官方代码发布的，导致lora方法训练模型的bug问题。朋友可以查看最新的代码https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/simple_thu_chatglm6b