search

THUDM / GLM-4

GLM-4 series: Open Multilingual Multimodal Chat LMs | 开源多语言多模态对话模型
Apache License 2.0
3.28k stars 235 forks source link

请问glm-4v有做支持vllm的计划吗 #215

Closed GanPeixin closed 1 week ago

GanPeixin commented 1 week ago

Feature request / 功能建议

glm-4v有做支持vllm的计划吗，有的话大概什么时候上线呢？

Motivation / 动机

推理加速

Your contribution / 您的贡献

https://github.com/vllm-project/vllm

zRzRzRzRzRzRzR commented 1 week ago

已经在计划中，但是要等待一段时间，目前适配中，还有一些挑战, 您可以关注我们的更新情况，本issue关闭