请问文章中图2 different truncation对应的评估代码在哪里呢？

THUDM / LongBench

[ACL 2024] LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding

MIT License

675 stars 54 forks source link

Closed HelloEveryonehh closed 3 weeks ago

HelloEveryonehh commented 1 month ago

作者您好，请问文章中图2 different truncation对应的评估代码在哪里？如果数据小于4k是否就不截断，还是直接不使用这个数据呢？

bys0318 commented 4 weeks ago

你好，可以在config/model2maxlen.json中修改模型评测时候的输入长度上限。论文图2中，比如输入长度上限4k那么数据小于4k就不截断。

HelloEveryonehh commented 3 weeks ago

感谢您的回答！