search

zjunlp / OneGen

[EMNLP 2024 Findings] OneGen: Efficient One-Pass Unified Generation and Retrieval for LLMs.
MIT License
138 stars 15 forks source link

关于evaluator.py #7

Closed sysuhys closed 1 month ago

sysuhys commented 1 month ago

嗨，我在用multi_hop_qa数据运行eval.py时，在代码文件evalutor.py第566行 while not output["finish"]中，output["finish"]=true的是因为最后输出的token为“[Question Representation]”，说明是要进行信息检索，然后拼接检索的信息再生成答案，但按你代码的逻辑是感觉是反的啊，如果遇到[Question Representation]则直接停了，不进行任何操作。盼复，谢谢！

image
MikeDean2367 commented 1 month ago

您好，感谢您的反馈，我们已经修改了evaluator.py文件的第196行代码，现在应该不会出现您提到的情况了，如仍有问题，请告知我 :)

zxlzr commented 1 month ago

请问您的问题解决了吗？

sysuhys commented 1 month ago

我直接在while那改的，已经解决了