search

yangjianxin1 / Firefly

Firefly: 大模型训练工具，支持训练Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan2、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya2、Vicuna、Bloom等大模型
5.37k stars 484 forks source link

使用Qlora微调 XVERSE-13B ，模型跑到200步，loss猛升后突降为0 #102

Open happy-xlf opened 11 months ago

happy-xlf commented 11 months ago

image

delian11 commented 8 months ago

我也这个问题，大佬解决了吗？