SCIR-HI / Med-ChatGLM

Repo for Chinese Medical ChatGLM 基于中文医学知识的ChatGLM指令微调
Apache License 2.0
968 stars 156 forks source link

模型结果的结论并没有找到训练数据的出处,所以这样的微调对吗? #18

Open alexhmyang opened 1 year ago

alexhmyang commented 1 year ago

模型效果对比

测试输入 | ChatGLM-6B输出 | ChatGLM-6B-Med输出 -- | -- | -- 谷氨酰转肽酶水平会因吸毒或饮酒而升高吗? | 吸毒和饮酒都会对身体的健康产生负面影响,包括对肝脏和心脏的影响。饮酒可能导致肝脏损伤和心脏疾病,因为酒精会破坏肝脏和心脏的功能。长期饮酒还可能导致脂肪肝、肝硬化、心脏病等健康问题。吸毒会对肝脏和心脏产生严重的损伤,导致肝脏纤维化、肝硬化、心脏血管疾病等。吸毒还可能导致精神障碍、社会退缩、暴力和犯罪等问题。因此,无论是饮酒还是吸毒,都会对健康产生负面影响,应该避免过度使用。 | 谷氨酰转肽酶升高的原因有很多,包括感染、消化性溃疡、感染、药物副作用等,而吸毒或饮酒等不良行为可能会导致谷氨酰转肽酶的升高。 小李最近出现了心动过速的症状,伴有轻度胸痛。体检发现P-R间期延长,伴有T波低平和ST段异常 | 非常抱歉,我不理解您的问题。请提供更多背景信息或上下文,以便我更好地回答您的问题。谢谢! | 小李出现了心动过速的症状,并且伴有胸痛,需要考虑是否有心肌病、冠状动脉粥样硬化等心血管疾病,建议进行心电图检查、血液检查、心脏超声检查等 ...... | ...... | ......

针对这个回答,我搜了一下训练数据,发现并没有任何数据可以支持 以上 【谷氨酰转肽酶升高的原因有很多,包括感染、消化性溃疡、感染、药物副作用等,而吸毒或饮酒等不良行为可能会导致谷氨酰转肽酶的升高。】结论的,所以这样的微调对吗? https://github.com/SCIR-HI/Med-ChatGLM/tree/main/data

image

s65b40 commented 1 year ago

您好,当前的大模型的输出,都会存在或多或少的幻觉的情况,这也是当前LLM普遍存在的问题,我们也正在进行相关的研究工作,

jamyriver commented 1 year ago

作者有计划改进基于ChatGLM2-6B改进一版训练模型吗?