search

FudanDISC / DISC-LawLLM

[中文法律大模型] DISC-LawLLM: an intelligent legal system powered by large language models (LLMs) to provide a wide range of legal services.
Apache License 2.0
563 stars 66 forks source link

关于测评代码中 few-shot example中使用错误的问题。 #39

Open zjintheroom opened 10 months ago

zjintheroom commented 10 months ago

您好，在评测分支中，您使用了多选题的few-shot文件来测评单选题，单选题的few-shot文件来测评多选题。在 src/few_shot文件夹中，两个csv文件的单选多选问题与csv文件的标题不一致，导致代码中出现了上述问题。

SUSTech-TP commented 10 months ago

您好，在评测分支中，您使用了多选题的few-shot文件来测评单选题，单选题的few-shot文件来测评多选题。在 src/few_shot文件夹中，两个csv文件的单选多选问题与csv文件的标题不一致，导致代码中出现了上述问题。

大佬，您好。您有测评的代码么？

zjintheroom commented 10 months ago

您好，在评测分支中，您使用了多选题的few-shot文件来测评单选题，单选题的few-shot文件来测评多选题。在 src/few_shot文件夹中，两个csv文件的单选多选问题与csv文件的标题不一致，导致代码中出现了上述问题。

大佬，您好。您有测评的代码么？

我就是用的这个作者提供的那个评测分支。可以根据作者定义的类，添加自己对应的评测模型。

SUSTech-TP commented 10 months ago

您好，在评测分支中，您使用了多选题的few-shot文件来测评单选题，单选题的few-shot文件来测评多选题。在 src/few_shot文件夹中，两个csv文件的单选多选问题与csv文件的标题不一致，导致代码中出现了上述问题。

大佬，您好。您有测评的代码么？

我就是用的这个作者提供的那个评测分支。可以根据作者定义的类，添加自己对应的评测模型。

哦哦，这样啊，作者给的val的目录下的单、多选的few-shot应该是对的

zjintheroom commented 10 months ago

您好，在评测分支中，您使用了多选题的few-shot文件来测评单选题，单选题的few-shot文件来测评多选题。在 src/few_shot文件夹中，两个csv文件的单选多选问题与csv文件的标题不一致，导致代码中出现了上述问题。

大佬，您好。您有测评的代码么？

我就是用的这个作者提供的那个评测分支。可以根据作者定义的类，添加自己对应的评测模型。

哦哦，这样啊，作者给的val的目录下的单、多选的few-shot应该是对的

作者val数据集是对的，他在src/few_shot 这个文件夹中的 给代码提供的few-shot的示例 单选和多选给反了应该

lsjlsj35 commented 10 months ago

感谢指正，现已修正。