Mini-InternVL-Chat-4B-V1-5 部署失败

[ljch2018]

python -m internvl.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40001 --worker http://localhost:40001 --model-path ./llm_models/Mini-InternVL-Chat-4B-V1-5

一旦请求，就会出错。

[MarStarck]

哎，我也想问这个部署的事，为啥搞得有点复杂，不是一个gradio网页就行了吗

[czczup]

哎，我也想问这个部署的事，为啥搞得有点复杂，不是一个gradio网页就行了吗

确实是这样，这里偷懒直接用了LLaVA的demo所以比较复杂😂

[czczup]

python -m internvl.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40001 --worker http://localhost:40001 --model-path ./llm_models/Mini-InternVL-Chat-4B-V1-5

一旦请求，就会出错。

想问一下这里用的git branch是哪个，可以试试pull到最新的代码

[sss008800]

跟其他开源模型比较，这个部署没讲清楚，更不谈一个web_demo就能搞定

[mi4da]

我成功了：

1.run the command in the internvl_chat_llava folder

python -m llava.serve.controller --host 0.0.0.0 --port 10000

2.run the command in the internvl_chat_llava folder

python -m llava.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload

3.run the command in the internvl_chat folder

python -m internvl.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40005 --worker http://localhost:40005 --model-path {原生模型地址或者ft后的}

[sss008800]

@mi4da 有发现推理很慢么？给够了显存依然很慢，需要几十秒甚至失败。