OpenGVLab / InternVL

[CVPR 2024 Oral] InternVL Family: A Pioneering Open-Source Alternative to GPT-4o. 接近GPT-4o表现的开源多模态对话模型
https://internvl.readthedocs.io/en/latest/
MIT License
5.63k stars 439 forks source link

[Bug] 模型微调之后使用refcoco进行评测时报错FileNotFoundError: [Errno 2] No such file or directory: 'data/refcoco/refcoco_val.jsonl' #580

Closed jamesbondzhou closed 5 days ago

jamesbondzhou commented 2 weeks ago

Checklist

Describe the bug

我用自己的数据集微调之后,想评测一下模型性能,按照官方文档,选了refcoco的(GPUS=8 sh evalulate.sh pretrained/InternVL2-2B refcoco --dynamic) 就报错FileNotFoundError: [Errno 2] No such file or directory: 'data/refcoco/refcoco_val.jsonl',这个文件哪里有呢?

Reproduction

我用自己的数据集使用intervl2-2B的模型进行了微调,这个数据集是按照如下格式描述的 { "id": 0, "image": "images/5.png", "conversations": [ { "from": "human", "value": "\nPlease provide the bounding box coordinate of the region this sentence describes: XXX" }, { "from": "gpt", "value": "XXX[[253, 231, 733, 787]]" } } 模型完成微调之后,可以正常对话,但是推理的时候输出的坐标不准确。 在对模型评估的时候,因为我做的目标检测,找了refcoco的评测,然后就报错了。 另外还有两个问题请教一下: 1.我看了官方文档里refcoco那些指标,这些数值是什么含义呢,这个refcoco指标的评测可以作为目标检测的评估指标吗? 企业微信截图_17261239313362

2.模型在推理的时候输出的坐标位置不准确,这个怎么提升呢,是要上到26B以上的模型吗,我看26B以下的模型视觉部分都是一样的,还是有其他提升的点呢?

Environment

按照官方文档安装。

Error traceback

No response

czczup commented 1 week ago

在这里下载refcoco的标注:https://internvl.readthedocs.io/en/latest/get_started/eval_data_preparation.html#refcoco-refcoco-refcoco-g