对 InternVL-1.1 和InternVL-1.2 的官方 blog 中给出的结果是不是有问题？

OpenGVLab / InternVL

[CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的开源多模态对话模型

https://internvl.readthedocs.io/en/latest/

MIT License

5.96k stars 462 forks source link

Closed Marxlp closed 2 months ago

Marxlp commented 2 months ago

InternVL-1.1 中的结果

InternVL-1.2 中的结果

可以看到InternVL-1.2 相比于InternVL-1.1 在SQA，TextVQA等好几个benchmark 上都要低，这是为什么？理论上1.2 版本应该比1.1 版本要高。

czczup commented 2 months ago

因为InternVL-1.1使用了SQA的训练集，在InternVL-1.2为了和LLaVA-NeXt-34B公平对比我们又去掉了SQA的训练集。用了训练集的点数就会高一截。

czczup commented 2 months ago

TextVQA 1.2是比1.1高的，InternVL-1.2是72.5，InternVL-1.1是68.6。