search

WangRongsheng / XrayGLM

🩺 首个会看胸部X光片的中文多模态医学大模型 | The first Chinese Medical Multimodal Model that Chest Radiographs Summarization.
Other
842 stars 119 forks source link

关于XrayGLM的多轮对话能力 #26

Closed DataXujing closed 1 year ago

DataXujing commented 1 year ago

佬你好，问一下我看您放出的openi的xray数据，包含了xray和对应的caption,问一下，用这个数据对visualGLM微调，看您放出多伦对话的能力是被保存下来了吗？还是你微调的时候有额外增加多轮对话的数据？

>> X光影像路径：./data/Xray/861_1.png

>> 用户：这是一张什么图？
>> XrayGLM：这张图片显示的是一张肺部检查的X光片。

>> 用户：请描述这张胸部X光片的诊断结果
>> XrayGLM：心脏大小正常，肺部清晰。没有急性心肺疾病的证据。

>> 用户：是否存在肺气肿？
>> XrayGLM：没有肺气肿。心脏大小正常，肺部清晰。没有发现急性心肺疾病的证据。

>> 用户：平时饮食该注意什么？
>> XrayGLM：饮食应该健康，均衡。建议增加蛋白质的摄入量，因为蛋白质有助于维持肌肉和骨骼的健康。多食用蔬菜、水果、全谷物以及健康的脂肪来源如橄榄油、鱼类等可以帮助获得足够的维生素和矿物质。此外，避免过度饮酒或吸烟，这些习惯可能会对心脏健康产生负面影响。
knifecaojia commented 1 year ago

我尝试用另一个领域的图片微调了一下visualglm 训练3000步，模型丧失对话能力，无论问什么，只会回答label标注的数据。微调用的数据包括10个类别，每个类别10-14张图片 image

knifecaojia commented 1 year ago

https://github.com/THUDM/VisualGLM-6B/issues/118 这个好像有参考价值，应该是微调的数据集准备的不够充分

DataXujing commented 1 year ago

THUDM/VisualGLM-6B#118 这个好像有参考价值，应该是微调的数据集准备的不够充分

好的，感谢

WangRongsheng commented 1 year ago

佬你好，问一下我看您放出的openi的xray数据，包含了xray和对应的caption,问一下，用这个数据对visualGLM微调，看您放出多伦对话的能力是被保存下来了吗？还是你微调的时候有额外增加多轮对话的数据？

>> X光影像路径：./data/Xray/861_1.png

>> 用户：这是一张什么图？
>> XrayGLM：这张图片显示的是一张肺部检查的X光片。

>> 用户：请描述这张胸部X光片的诊断结果
>> XrayGLM：心脏大小正常，肺部清晰。没有急性心肺疾病的证据。

>> 用户：是否存在肺气肿？
>> XrayGLM：没有肺气肿。心脏大小正常，肺部清晰。没有发现急性心肺疾病的证据。

>> 用户：平时饮食该注意什么？
>> XrayGLM：饮食应该健康，均衡。建议增加蛋白质的摄入量，因为蛋白质有助于维持肌肉和骨骼的健康。多食用蔬菜、水果、全谷物以及健康的脂肪来源如橄榄油、鱼类等可以帮助获得足够的维生素和矿物质。此外，避免过度饮酒或吸烟，这些习惯可能会对心脏健康产生负面影响。

这个就是基于开源的数据训练的，谢谢。

WangRongsheng commented 1 year ago

THUDM/VisualGLM-6B#118 这个好像有参考价值，应该是微调的数据集准备的不够充分

很棒的issue，谢谢分享。

DataXujing commented 1 year ago

佬你好，问一下我看您放出的openi的xray数据，包含了xray和对应的caption,问一下，用这个数据对visualGLM微调，看您放出多伦对话的能力是被保存下来了吗？还是你微调的时候有额外增加多轮对话的数据？

>> X光影像路径：./data/Xray/861_1.png

>> 用户：这是一张什么图？
>> XrayGLM：这张图片显示的是一张肺部检查的X光片。

>> 用户：请描述这张胸部X光片的诊断结果
>> XrayGLM：心脏大小正常，肺部清晰。没有急性心肺疾病的证据。

>> 用户：是否存在肺气肿？
>> XrayGLM：没有肺气肿。心脏大小正常，肺部清晰。没有发现急性心肺疾病的证据。

>> 用户：平时饮食该注意什么？
>> XrayGLM：饮食应该健康，均衡。建议增加蛋白质的摄入量，因为蛋白质有助于维持肌肉和骨骼的健康。多食用蔬菜、水果、全谷物以及健康的脂肪来源如橄榄油、鱼类等可以帮助获得足够的维生素和矿物质。此外，避免过度饮酒或吸烟，这些习惯可能会对心脏健康产生负面影响。

这个就是基于开源的数据训练的，谢谢。

OK,非常感谢

freelancerllm commented 1 year ago

我尝试用另一个领域的图片微调了一下visualglm 训练3000步，模型丧失对话能力，无论问什么，只会回答label标注的数据。微调用的数据包括10个类别，每个类别10-14张图片 image

训练step太多了，看一下loss变化，像是过拟合了。

WangRongsheng commented 1 year ago

我尝试用另一个领域的图片微调了一下visualglm 训练3000步，模型丧失对话能力，无论问什么，只会回答label标注的数据。微调用的数据包括10个类别，每个类别10-14张图片 image

训练step太多了，看一下loss变化，像是过拟合了。

一个好的回答！good