MMBench_TEST 评估结果是否可以自动提交

open-compass / VLMEvalKit

Open-source evaluation toolkit of large vision-language models (LVLMs), support ~100 VLMs, 40+ benchmarks

Apache License 2.0

1.08k stars 154 forks source link

Closed Sync-yxh closed 2 days ago

Sync-yxh commented 3 days ago

评测 MMBench_TEST 后得到xlsx，需要手动提交到 MMB 的评估网站，是否可以在VLMEvalKit 中实现自动提交到评估服务器的功能？谢谢！

FangXinyu-0913 commented 2 days ago

您好 @Sync-yxh, 目前我们尚不支持自动提交到评估服务器，需要您手动提交。该功能的开发目前暂时还未计划中。