微调真的学习到了图片中的内容，还是只学习到了文字的说话方式

WangRongsheng / XrayGLM

🩺 首个会看胸部X光片的中文多模态医学大模型 | The first Chinese Medical Multimodal Model that Chest Radiographs Summarization.

Other

884 stars 128 forks source link

Open zousss opened 6 months ago

zousss commented 6 months ago

XrayGLM真的学会诊断X片还是只是学会了这种说话的方式，示例里都是判断正常的例子，是否他只学会了说“心脏正常，无明显异常”这类的话，并没有真的学会在X片中的细粒度的诊断？如果有病症的x光图片识别不出来，那么如何证明微调学习到了图片中的信息？麻烦解答，感谢

Mike-ihr commented 6 days ago

同感，很多radiology report generation的方法都只是学习到了文字的说话方式，没有学习到图片的内容