search

hikariming / chat-dataset-baseline

人工精调的中文对话数据集和一段chatglm的微调代码
1.13k stars 95 forks source link

loss一直不降低？怎么调参 #45

Open cristianohello opened 1 year ago

cristianohello commented 1 year ago

loss一直不降低？怎么调参

hikariming commented 1 year ago

lora的r不能太小，可以看看我的配置参数，也可以在colab上试一下，看看和你本地显存、依赖包那些有没有什么差异，有时候调参就是很玄学