MiniCPM-V多卡训练模型infer与单卡不一致

[Uooga]

Describe the bug 多卡数据并行lora微调了一个版本的MiniCPM-V，在测试的时候发现输出结果几乎跟原始没有微调的版本一样，损失函数有正常下降，但是在训练集的测试输出也仿佛是没有微调的版本； 怀疑是否是infer命令有问题呢？还请大佬帮忙看一下； P.S.单卡训练的模型可以输出符合预期的效果

训练命令： nproc_per_node=8 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \ NPROC_PER_NODE=$nproc_per_node \ MASTER_PORT=29500 \ swift sft \ --model_type minicpm-v-v2-chat \ --dataset train_minicpm_v_2_0619.jsonl \ --lora_target_modules ALL \ --train_dataset_sample -1 \ --num_train_epochs 8 \ --ddp_find_unused_parameters True \

单卡训练命令： CUDA_VISIBLE_DEVICES=1 swift sft --model_type minicpm-v-v2-chat --dataset train_minicpm_v_2_0619.jsonl --lora_target_modules ALL

infer命令： CUDA_VISIBLE_DEVICES=1 swift export --ckpt_dir output/minicpm-v-v2-chat/v3-20240619-204718/checkpoint-6200/ --merge_lora true CUDA_VISIBLE_DEVICES=1 swift infer --ckpt_dir output/minicpm-v-v2-chat/v3-20240619-204718/checkpoint-6200-merged --load_dataset_config true --val_dataset val_minicpm_v_2_0619.jsonl --show_dataset_sample -1

[tastelikefeet]

fixed #1197

[tastelikefeet]

需要重新训练下

[Uooga]

你好，我用最新的commit版本去进行训练，出现了新的报错，

当前使用的版本如下

[Jintao-Huang]

感觉训练 vision encoder部分就会有这个问题