WangRongsheng / XrayGLM

🩺 首个会看胸部X光片的中文多模态医学大模型 | The first Chinese Medical Multimodal Model that Chest Radiographs Summarization.
Other
912 stars 130 forks source link

【QA】是不是不适合图片分类的问题 #42

Closed Gary2018X closed 1 year ago

Gary2018X commented 1 year ago

最开始尝试了一个多分类的问题 效果很差 然后尝试了一个简单的二分类问题 灵敏度也不到70% 训练批次从500-5000基本都试过 分类问题的图片数据是没问题 直接通过resnet等算法灵敏度95%以上

WangRongsheng commented 1 year ago

多模态里面的视觉模型很容易丢失图像语义信息,在分类任务上表现一般,如果您的任务是明确的分类,则不建议使用这种多模态模型。