测试方式

[dydxdt]

请问可以用llava提供的cli方式测试吗？我在llava.serve.cli中将原来的load_pretrained_model替换成model_vqa_lora.py中的load_pretrained_model，然后运行命令

CUDA_VISIBLE_DEVICES=1 python -m llava.serve.cli \ --model-path ./ChartLlama-13b-llava-v1.5 \ --model-base xxx/Projects/LLaVA/checkpoints/llava-v1.5-13b \ --image-file xxx.jpg \ --load-4bit

但是会报错：

请问这个问题怎么解决呢？

[tingxueronghua]

我尝试了一下在我这边是正常的。实际上我修改的load_pretrained_model只是删去了多余的部分，仅保留了lora加载的方式，不应该出现模型权重加载的问题。 感觉你的本地模型里mm_projector的shape看上去有点奇怪，他并不是一个矩阵的形式。是不是还修改了其他地方的代码？或者下载的权重可能有问题？

[tingxueronghua]

补充说明一下，上面的正常结果只是修改了load_pretrained_model，导入了需要的库函数。从我这边的结果来看，应该不是我修改的函数或者我提供的模型的问题。我建议你重新下载一份未修改的 llava-1.5 代码和模型，再进行尝试。

如果你还是不确定如何修改，可以在这里放上更多的代码一起check。

后面我会更新使用 cli 的inference方式。之前是觉得对于多模态模型来说，还是批量跑出来结果拉到本地查看比较直观，所以没有修改。