search

InternLM / InternLM-XComposer

InternLM-XComposer2 is a groundbreaking vision-language large model (VLLM) excelling in free-form text-image composition and comprehension.
1.92k stars 121 forks source link

train模式和test模式差别很大 #276

Open dle666 opened 2 months ago

dle666 commented 2 months ago

我对一张图片微调至过拟合，训练过程中生成的答案与真值已经完全相同，但是我加载此模型去测试同一张图发现，生成的结果和真值句式和顺序的差别很大，这是为什么呢，请给我一些帮助

yuhangzang commented 2 months ago

Did you set .eval() mode during inference?

dle666 commented 2 months ago

您在推理过程中是否设置了 .eval() 模式？

我已经设置了eval，并且我发现当我把在geo3k的训练集上lora微调后的模型（loss已下降到0.03）再次加载在同一数据集上进行训练时，loss又变为了1.7，是否是模型保存或加载出现了问题（原代码加载微调后的模型会报错，我是使用automodel加载的）

dle666 commented 2 months ago

您在推理过程中是否设置了.eval()模式？

您在推理过程中是否设置了.eval()模式？

我已经设置了eval，并且我发现当我把在geo3k的训练集上lora参数后的模型（loss已恢复到0.03）再次加载在相同数据集上进行时，loss又变成了1.7，是否是模型保存或加载出现了问题（原代码加载操作后的模型会报错，我是使用automodel加载的）

补充一下，我在全参数微调时并没有遇见这种情况

yuhangzang commented 2 months ago

It looks like your LoRA model is not loaded correctly. Do u use the AutoPeftModelForCausalLM class here?

dle666 commented 2 months ago

您的 LoRA 模型似乎未正确加载。你用这里的AutoPeftModelForCausalLM课程吗？

我在测试的时候是用这个加载的，再次微调也使用这个来加载吗？

dle666 commented 2 months ago

您的LoRA模型似乎未正确加载。您用这里的AutoPeftModelForCausalLM课程吗？

我在测试的时候是用这个加载的再次，调节也使用这个来加载吗？

补充一下，在测试过程中使用AutoPeftModelForCausalLM加载并不能解决训练loss和测试结果不对齐的问题