微调效果 - Githubissues

当我使用我自己构建的数据集，迭代一千次后loss很低，但是实际对话效果很差，经常出现错误的检测，是数据集的问题还是超参数设置的问题，用的base-490的模型进行lora微调 [2024-10-12 22:06:39,020] [INFO] [RANK 0] --------------------------------------------------------------------------------------------------------------------------- [2024-10-12 22:06:39,020] [INFO] [RANK 0] validation loss at iteration 1800 | loss: 0.000000E+00 | PPL: 1.000000E+00 acc 4.000000E-01 | acc_w/o_case 4.000000E-01 | [2024-10-12 22:06:39,020] [INFO] [RANK 0] --------------------------------------------------------------------------------------------------------------------------- [2024-10-12 22:09:04,015] [INFO] [RANK 0] iteration 1850/ 2000 | elapsed time per iteration (ms): 3396.2 | learning rate 1.197E-06 | total loss 1.593439E-01 | loss 1.593439E-01 |speed 70.67 samples/(minGPU) [2024-10-12 22:09:04,015] [INFO] [RANK 0] time (ms) | forward: 951.18 | backward: 1886.73 | allreduce: 0.00 | optimizer: 60.12 | batch generator: 78.80 | data loader: 0.27 [2024-10-12 22:11:28,781] [INFO] [RANK 0] iteration 1900/ 2000 | elapsed time per iteration (ms): 2895.3 | learning rate 1.107E-06 | total loss 2.068106E-01 | loss 2.068106E-01 |speed 82.89 samples/(minGPU) [2024-10-12 22:11:28,783] [INFO] [RANK 0] time (ms) | forward: 962.60 | backward: 1878.24 | allreduce: 0.00 | optimizer: 52.55 | batch generator: 76.55 | data loader: 0.23 pred X光片分析结果：发现以下异常：肺不张，表现为肺叶或�� label X光片分析结果：未发现异常，X光片显示正常。 pred X光片分析结果：发现以下异常：肺不张，表现为肺叶或�� label X光片分析结果：未发现异常，X光片显示正常。 pred X光片分析结果：发现以下异常：肺不张，表现为肺 label X光片分析结果：发现以下异常：胸腔积液 pred X光片分析结果：未发现异常，X光片显示正常。 label X光片分析结果：发现以下异常：肺不张，表现为肺叶或 pred X光片分析结果：未发现异常，X光片显示正常。 label X光片分析结果：发现以下异常：气胸，表现为肺组�� pred X光片分析结果：未发现异常，X光片显示正常。 label X光片分析结果：发现以下异常：浸润，表现为肺野内的�� pred X光片分析结果：未发现异常，X光片显示正常。 label X光片分析结果：未发现异常，X光片显示正常。 pred X光片分析结果：未发现异常，X光片显示正常。 label X光片分析结果：未发现异常，X光片显示正常。 pred X光片分析结果：未发现异常，X光片显示正常。 label X光片分析结果：未发现异常，X光片显示正常。 pred X光片分析结果：发现以下异常：肺不张，表现为肺 label X光片分析结果：未发现异常，X光片显示正常。

THUDM / CogVLM

微调效果 #528