效果与实际偏差较大

[1goodone]

你好，我是用LLAVA官方代码，将LLAVA -1.5 13B代码与chartllama提供的lora进行合并，使用官方提供的运行方式运行gradio界面，最终发现效果不太理想，请问是不能使用官方代码吗，请问chartllama的代码相比较于官方代码有什么改动吗，具体来说，运行代码为： python -m llava.serve.controller --host 0.0.0.0 --port 10000

python -m llava.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path /path/to/chartllama --model-base /path/to/llava-v1.5-13b --model-name llava-lora-vicuna-13b

最终模型很容易生成重复内容，并且结果并不好。使用论文中提到的prompt效果也不太行。

[tingxueronghua]

建议仿照我使用的model_vqa_lora.py修改一下加载函数。官方默认的LLaVA加载函数里是通过模型的命名来判定加载类型的，很有可能加载出来的模型权重有问题。

[tingxueronghua]

我自己的测试结果上看，chartllama和此前的模型对比起来，是最不容易生成重复内容的。如果后续依然存在这个问题的话，可以把样例发给我我们一起看一下是哪里的问题。

[tingxueronghua]

如果后续有问题，欢迎随时重新开启这个issue。

[dydxdt]

你好，我是用LLAVA官方代码，将LLAVA -1.5 13B代码与chartllama提供的lora进行合并，使用官方提供的运行方式运行gradio界面，最终发现效果不太理想，请问是不能使用官方代码吗，请问chartllama的代码相比较于官方代码有什么改动吗，具体来说，运行代码为： python -m llava.serve.controller --host 0.0.0.0 --port 10000

python -m llava.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload

python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path /path/to/chartllama --model-base /path/to/llava-v1.5-13b --model-name llava-lora-vicuna-13b

最终模型很容易生成重复内容，并且结果并不好。使用论文中提到的prompt效果也不太行。

@1goodone 你好，想请问下，model_name参数需要加吗？我感觉不加也可以？但是我启动网页demo一直显示不出我加载的模型 后台的日志一直显示semaphore：None

或者model_name是需要什么路径呢？非常感谢！