QLoRA微调后模型推理过程中模型加载失败的情况

THUDM / VisualGLM-6B

Chinese and English multimodal conversational language model | 多模态中英双语对话语言模型

Apache License 2.0

4.1k stars 418 forks source link

Open kristine-li opened 1 year ago

kristine-li commented 1 year ago

CUDA_VISIBLE_DEVICES=1 python cli_demo.py --from_pretrained ./checkpoints/finetune-visualglm-6b-06-01-06-47/

freelancerllm commented 1 year ago

维度没对齐呀

kristine-li commented 1 year ago

维度没对齐呀

这个微调之后的模型是按照脚本起来的，所有的参数是按照默认设置的。微调后就直接起python cli_demo.py了，我没有改过其他的超参数，请问这个维度应该去哪里更改？

1049451037 commented 1 year ago

应该是模型没有放到cuda上导致的，只有model.cuda()了以后才会量化到新的维度

1049451037 commented 1 year ago

你检查一下你的显卡是不是正常，或者打印一下模型的device