SupritYoung / Zhongjing

A Chinese medical ChatGPT based on LLaMa, training from large-scale pretrain corpus and multi-turn dialogue dataset.
Apache License 2.0
303 stars 29 forks source link

多轮对话是如何评测的 #3

Closed MelodyChenjun closed 1 year ago

MelodyChenjun commented 1 year ago

请问可以公开多轮对话评测的实现细节和prompt吗?

SupritYoung commented 1 year ago

您好,详细细节都已经放在论文中。

MelodyChenjun commented 1 year ago

我看论文中附录公布的prompt是用于单轮对话,多轮对话的prompt也是如此吗?

SupritYoung commented 1 year ago

是的,把多轮对话的字符串格式调整一下就可以。

MelodyChenjun commented 1 year ago

具体是将每一轮对话都进行一次比较,还是所有history都放在一起比一次呢

SupritYoung commented 1 year ago

您好,是放在一起进行评估,例如:

第一轮:
问题:“”
回答:“”
第二轮:
问题:“”
回答:“”
...