微调问题

[zgjiangtoby]

你好，想请教你几个关于微调上的细节问题：

1. 请问你在微调的时候考虑分辨率对结果的影响吗？胸片照片如果被压缩至224会不会造成重要像素信息丢失？
2. 微调后visualGLM对label当中的数值信息能否做到精确描述？比如：“这个肿瘤位于左胸下侧3mm处，其大小越威1.2mm”。在保证足够的微调样本的情况下，模型是否还能正确给出准确描述？
3. 请问对模型生成的胸片描述你们是如何进行验证的？

我最近也在准备微调visualGLM，不过我的数据更加偏向于数值预测一些，希望能够多多交流～

[WangRongsheng]

1. 是的，我们也关注到您说的这个问题，我们认为图像的分辨率其实会对模型有影响；
2. 数值的精确描述其实是没法做到的，我们试验过（当然这不是大规模的验证实验，您需要根据您的场景进行验证）；
3. 如果您打算以落地的要求去做，胸片的正确描述与否我们建议与专业的医疗人员进行验证。XrayGLM作为科学研究性内容，后续会逐渐引入不同的评价验证；

希望以上回答能帮助到您！

[zgjiangtoby]

你好，感谢你的回复！ 另外还想请教一下，你在微调的时候只是微调了文本端吗？对于xray图像，不需要对图像端微调吗？