modelscope / ms-swift

Use PEFT or Full-parameter to finetune 300+ LLMs or 80+ MLLMs. (Qwen2, GLM4v, Internlm2.5, Yi, Llama3.1, Llava-Video, Internvl2, MiniCPM-V-2.6, Deepseek, Baichuan2, Gemma2, Phi3-Vision, ...)
https://swift.readthedocs.io/zh-cn/latest/Instruction/index.html
Apache License 2.0
3.39k stars 290 forks source link

微调qwen1.5 110B chat后会重复说 #1084

Closed zhangfan-algo closed 2 weeks ago

zhangfan-algo commented 3 months ago

Describe the bug 微调后模型输出结果天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于一天半的时间,相当于

zhangfan-algo commented 3 months ago

部分样本会出现这样的情况 大部分样本是正常的

zhangfan-algo commented 3 months ago

微调2个epoch后的效果

tastelikefeet commented 2 weeks ago

调崩了,考虑增大数据量,数据分布也要考虑一下