如何测评大模型的效率

open-compass / VLMEvalKit

Open-source evaluation toolkit of large vision-language models (LVLMs), support 160+ VLMs, 50+ benchmarks

Apache License 2.0

1.34k stars 188 forks source link

Closed wenyu1009 closed 1 month ago

wenyu1009 commented 1 month ago

测评使用起来非常方便，请问是否支持测评模型的效率？如吞吐量这样的参数，后续是否会支持该功能。

kennymckormick commented 1 month ago

Hi, @wenyu1009 , 一个模型的效率，会由多方面的因素决定：硬件、推理引擎、量化策略等。对模型效率的评测超出了本 repo 的范畴。你可能可以在 vllm 或是 lmdeploy 中找到相应资源。

wenyu1009 commented 1 month ago

好嘞，感谢回复