qwen2-7b lora loss为0 - Githubissues

yangjianxin1 / Firefly

Firefly: 大模型训练工具，支持训练Qwen2.5、Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan2、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya2、Vicuna、Bloom等大模型

5.9k stars 527 forks source link

qwen2-7b lora loss为0 #273

Closed fengyang95 closed 5 months ago

fengyang95 commented 5 months ago

用qwen2-7b lora训练时，一开始loss就是0；用full模式是正常的。

fengyang95 commented 5 months ago

用qwen2-7b lora训练时，一开始loss就是0；用full模式是正常的。

deepspeed启动没问题；python3启动有这个问题。