search

OpenGVLab / LAMM

[NeurIPS 2023 Datasets and Benchmarks Track] LAMM: Multi-Modal Large Language Models and Applications as AI Agents
https://openlamm.github.io/
296 stars 16 forks source link

复现zero-shot结果 #30

Closed Qiu-DL closed 1 year ago

Qiu-DL commented 1 year ago

使用官方指定的的ViT-L-14、vicuna-13b-v0、lamm-13b-lora32-186k作为权重，使用LAMM_2D_Evaluation.sh生成answer，得到的结果如下，第三列是原文结果，第四列是我们跑出来的结果，请问有可能是什么原因造成标红出数据集效果这么差呢？

Snipaste_2023-07-10_19-29-51
wangjiongw commented 1 year ago

你好，请问是否可以提供你目前使用的代码commit ID呢？我使用目前的代码没有复现所描述的问题。如果有结果文件或者log信息也可以讨论。 另外我们最近在整理代码时修复了之前开源整理文件时的一些问题，同时更新了最新代码训练的模型至huggingface，相关数据集结果后续会更新至github repo以及homepage。你可以更新相关代码和模型后再次确认结果，谢谢！

Qiu-DL commented 1 year ago

好的，我们检查发现是读取图片的Pillow版本错误问题，现在已经切换到指定版本就能正常对齐了，非常感谢你的回复。

serser commented 1 year ago

求问有统计过数据集中的损坏的图吗，我们从 https://opendatalab.com/LAMM 这里下载的图片发现有不少是无法直接读取的。@wangjiongw

wangjiongw commented 1 year ago

求问有统计过数据集中的损坏的图吗，我们从 https://opendatalab.com/LAMM 这里下载的图片发现有不少是无法直接读取的。@wangjiongw

Sorry for late response. Recently, we checked the image files and refreshed the LAMM data. Please update files from OpenXLab page.

wangjiongw commented 1 year ago

I will close this issue and please reopen it if needed.