search

WangRongsheng / XrayGLM

🩺 首个会看胸部X光片的中文多模态医学大模型 | The first Chinese Medical Multimodal Model that Chest Radiographs Summarization.
Other
842 stars 119 forks source link

为什么我的微调效果很差 #30

Closed Xue-Yw closed 1 year ago

Xue-Yw commented 1 year ago

1.请问为什么和作者一样微调3000次我的模型几乎不能回答问题，而且好像次数越多效果越差 2.请问作者在GitHub上展示的微调效果是只用了Openl这一个数据集训练的吗 image image

MCenyuan commented 1 year ago

同问，超参设置到多少比较好？

MCenyuan commented 1 year ago

微调多少次？

WangRongsheng commented 1 year ago

微调次数在500-3000比较好，过大的轮次容易导致过拟合。（3000其实也有些过拟合问题）

Xue-Yw commented 1 year ago

但为什么您展示的微调效果那么好呢，是有别的需要做的吗

WangRongsheng commented 1 year ago

所有我们训练的东西都已经开源并且做了说明。