Closed xansar closed 2 months ago
我在ceval上进行测试发现,测试结果中记录的题干、选项存在问题:
这可能与LLMBox/utilization/utils/log_results.py 中175行调用dump_conversations函数有关。 evaluation_instances = dump_conversations(evaluation_instances, local_model) 这里输入的evaluation_instances结构为List[tuple(str, str)],在dump_conversations中,每个tuple被强制转换为str,导致207行*source_texts, target_text = zip(*evaluation_instances)获取题干选项时出错。 将175行注释后,ceval的测试结果记录恢复正常,但尚不清楚在其他数据集上是否仍存在问题:
evaluation_instances = dump_conversations(evaluation_instances, local_model)
*source_texts, target_text = zip(*evaluation_instances)
感谢反馈,稍后修复一下!
我在ceval上进行测试发现,测试结果中记录的题干、选项存在问题:![image](https://github.com/RUCAIBox/LLMBox/assets/84836744/dac5e9f6-f23a-4ff7-9437-4190122fb10c)
这可能与LLMBox/utilization/utils/log_results.py 中175行调用dump_conversations函数有关。![image](https://github.com/RUCAIBox/LLMBox/assets/84836744/fcb35ce5-9c44-415c-8beb-ec561779ee4a)
evaluation_instances = dump_conversations(evaluation_instances, local_model)
这里输入的evaluation_instances结构为List[tuple(str, str)],在dump_conversations中,每个tuple被强制转换为str,导致207行*source_texts, target_text = zip(*evaluation_instances)
获取题干选项时出错。 将175行注释后,ceval的测试结果记录恢复正常,但尚不清楚在其他数据集上是否仍存在问题: