用V100显卡微调chatglm2-6b，但是loss一直为0，eval_loss=nan

shuxueslpi / chatGLM-6B-QLoRA

使用peft库，对chatGLM-6B/chatGLM2-6B实现4bit的QLoRA高效微调，并做lora model和base model的merge及4bit的量化（quantize）。

350 stars 46 forks source link

Closed fanruiwen closed 10 months ago

fanruiwen commented 12 months ago

刚开始以为是V100不支持int8量化的原因，但是查看了train_qlora.py的代码，代码中写的是int4，所以排除了这个原因，请问这个问题该如何解决，谢谢 .