search

alibaba / conv-llava

Apache License 2.0
103 stars 3 forks source link

使用VLMEVALKIT 评测 #8

Closed Han-jiaxin closed 2 months ago

Han-jiaxin commented 2 months ago

当我使用VLMEVALKIT 时，发现您提供的run.py文件中，提及from vlmeval.utils import dataset_URLs, DATASET_TYPE, abbr2full, 以及from vlmeval.evaluate import * 这些我在VLMEVALKIT 的官方文件下没有找到，想问下这个问题该如何解决？

John-Ge commented 2 months ago

应该是VLMEVALKIT更新了。你可以用lmms-eval来进行测试。

Han-jiaxin commented 2 months ago

好的，非常感谢您的回答

Han-jiaxin commented 2 months ago

您好，方便提供refcoco jsonl文件的下载地址吗？

John-Ge commented 2 months ago

https://github.com/Vision-CAIR/MiniGPT-4/tree/main/eval_scripts/eval_data

Han-jiaxin commented 2 months ago

您好，非常感谢，您的回答很有帮助，另外想问一下，当使用VLMEVALKIT测评时，我们会为convllava在/VLMEvalKit/vlmeval/vlm 下写一个类似模型加载的py文件，您方便提供一下吗？

John-Ge commented 2 months ago

使用llava的就可以了，你可以参考我们给的文档进行测试