FreedomIntelligence / HuatuoGPT

HuatuoGPT, Towards Taming Language Models To Be a Doctor. (An Open Medical GPT)
Apache License 2.0
1.08k stars 142 forks source link

多轮对话evaluation #32

Closed MelodyChenjun closed 12 months ago

MelodyChenjun commented 1 year ago

请问可以公开多轮对话评测的实现细节和prompt吗?

jymChen commented 1 year ago

Hi @MelodyChenjun, 多轮对话评测是将评测数据中的病人信息给ChatGPT模拟病人,然后ChatGPT询问模型拿到对话信息,再用GPT4对不同模型的对话内容进行打分。

病人Prompt

你是一名患者,下面是你的病情, 你正在向${model_name} 智能医生咨询病情相关的问题,请记住这是一个多轮咨询过程,每次询问要精炼一些,第一次询问要尽可能简单点、内容少一点。
${medical_case} 
当你认为整个问诊应该结束的时候请说:再见