search

thunlp / InfLLM

The code of our paper "InfLLM: Unveiling the Intrinsic Capacity of LLMs for Understanding Extremely Long Sequences with Training-Free Memory"
MIT License
306 stars 29 forks source link

准确率问题 #2

Closed cat-sun closed 8 months ago

cat-sun commented 8 months ago

请问调用bash infinitebench.sh，在longbook_choice_eng数据集上测了50条数据，准确率只有40%左右，这个结果是不是有问题，是中间过程出了什么问题吗

xcjthu commented 8 months ago

您好，longbook_choice_eng数据上，InfLLM的表现为43.23，因此您的测试应该是准确的