search

liangwq / Chatglm_lora_multi-gpu

chatglm多gpu用deepspeed和
404 stars 61 forks source link

ValueError: 150004 is not in list #11

Closed littlerookie closed 1 year ago

littlerookie commented 1 year ago

您好，参考之前的issue修改了skip_init问题之后，运行报错 image 请问有什么修改的建议吗

liangwq commented 1 year ago

您好，参考之前的issue修改了skip_init问题之后，运行报错 image 请问有什么修改的建议吗

你完全复制我的项目部署吧 这个是emcode部分问题，代码修复过 EOS_ID = 150005

liangwq commented 1 year ago

您好，参考之前的issue修改了skip_init问题之后，运行报错 image 请问有什么修改的建议吗

你完全复制我的项目部署吧 这个是emcode部分问题，代码修复过 EOS_ID = 150005

新增了token文件，你再拉下代码试试

littlerookie commented 1 year ago

您好，参考之前的issue修改了skip_init问题之后，运行报错 image 请问有什么修改的建议吗

你完全复制我的项目部署吧 这个是emcode部分问题，代码修复过 EOS_ID = 150005

新增了token文件，你再拉下代码试试

好像没有报错了。另外我想再请教个问题，目前最低可以在多少显存的GPU上跑呢，除了修改per_device_train_batch_size，还有其他参数修改可以降低显存需求的吗？谢谢

liangwq commented 1 year ago

您好，参考之前的issue修改了skip_init问题之后，运行报错 image 请问有什么修改的建议吗

你完全复制我的项目部署吧 这个是emcode部分问题，代码修复过 EOS_ID = 150005

新增了token文件，你再拉下代码试试

好像没有报错了。另外我想再请教个问题，目前最低可以在多少显存的GPU上跑呢，除了修改per_device_train_batch_size，还有其他参数修改可以降低显存需求的吗？谢谢

1.bit减少 2.深度改deepspeed参数 3.用megatron 但其实如果真的工业应用，没有一定gpu还是不好搞的 你至多就是让模型能装进显存可以跑起来，后面要算的flop还是关键，跑不快不行的

littlerookie commented 1 year ago

好的，谢谢

tutuxxx commented 1 year ago
image

已经是最新代码了，不过还是遇到了这个问题，请问有办法解决吗