Unexpected err=TypeError("internvl_chat isn't supported yet")

[thiner]

我尝试用LocalAI的AutoGPTQ backend 加载internvl-chat-v1.5-int8 量化模型，推理代码使用的是InternVL的ReadMe中提供的样例代码。在加载模型时报错：

could not load model (no success): Unexpected err=TypeError(\"internvl_chat isn't supported yet.\")

我查看了HF上的模型相关文件，internvl_chat似乎是在config.json中定义的。如下：

"model_type": "internvl_chat",

本地运行的pip依赖如下：

• transformers: 4.40.1
• torch: 2.1.2
• torchvision: 0.16.2

请问应该如何修复？

[thiner]

我尝试了pip install internvl_chat===1.2.3，安装不了，好像并没有发布到pip仓库。那这么说就必须从源代码安装了吗？

[G-z-w]

你好，请问现在问题修复了吗？internvl需要从源代码安装，感谢关注，另外AutoGPTQ backend没有支持internvl 模型，建议您使用LMDeploy。See LINK