KMnO4-zx / huanhuan-chat

Chat-甄嬛是利用《甄嬛传》剧本中所有关于甄嬛的台词和语句,基于ChatGLM2进行LoRA微调得到的模仿甄嬛语气的聊天语言模型。
493 stars 45 forks source link

为什么在训练的时候loss直接变0,梯度直接nan了? #23

Open Sheldon090 opened 6 months ago

Sheldon090 commented 6 months ago
Snipaste_2024-04-04_20-40-14
stamina1121 commented 3 months ago

me too