search

OpenGVLab / Ask-Anything

[CVPR2024 Highlight][VideoChatGPT] ChatGPT with video understanding! And many more supported LMs such as miniGPT4, StableLM, and MOSS.
https://vchat.opengvlab.com/
MIT License
3.06k stars 251 forks source link

videochat2部署问题 #202

Open zhanghang-official opened 4 months ago

zhanghang-official commented 4 months ago

videochat2这种多模态有什么办法使用vllm部署，vllm现在好像不支持embedding输入

Andy1621 commented 4 months ago

请查看我们的vllm分支，写了支持的代码

zhanghang-official commented 4 months ago

vllm分支中，vllm_test.py使用的vllm版本是什么呢，是v0.5.0吗，requirements.txt里没有说明。 vllm分支中的vllm文件夹通过对比应该是与 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 一致，是对官方v0.2.4版本的修改用于支持prompt_embeds输入。 所以vllm_test.py中的vllm用的是 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 的库吗？

Aurorana commented 4 months ago

vllm分支中，vllm_test.py使用的vllm版本是什么呢，是v0.5.0吗，requirements.txt里没有说明。 vllm分支中的vllm文件夹通过对比应该是与 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 一致，是对官方v0.2.4版本的修改用于支持prompt_embeds输入。 所以vllm_test.py中的vllm用的是 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 的库吗？

我们的实现是基于官方v0.2.4的版本，并在部分地方进行了修改。请根据我们仓库vllm分支的vllm文件夹，从源码编译vllm库。

zhanghang-official commented 4 months ago

vllm分支中，vllm_test.py使用的vllm版本是什么呢，是v0.5.0吗，requirements.txt里没有说明。 vllm分支中的vllm文件夹通过对比应该是与 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 一致，是对官方v0.2.4版本的修改用于支持prompt_embeds输入。 所以vllm_test.py中的vllm用的是 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 的库吗？

我们的实现是基于官方v0.2.4的版本，并在部分地方进行了修改。请根据我们仓库vllm分支的vllm文件夹，从源码编译vllm库。

感谢回复，后续有计划在v0.5新版本上修改吗