【text-generation-inference】Unsupported model type cogvlm2 - Githubissues

THUDM / CogVLM2

GPT4V-level open-source multi-modal model based on Llama3-8B

Apache License 2.0

2.02k stars 135 forks source link

【text-generation-inference】Unsupported model type cogvlm2 #127

Closed ericzhou571 closed 2 months ago

ericzhou571 commented 3 months ago

System Info / 系統信息

A100 ghcr.io/huggingface/text-generation-inference:2.1.0

Who can help? / 谁可以帮助到您？

@1049451037

使用tgi部署的遇到报错 ValueError: Unsupported model type cogvlm2 使用的镜像为：ghcr.io/huggingface/text-generation-inference:2.1.0

Args { model_id: "/xxxx/THUDM/cogvlm2-llama3-chinese-chat-19B-tgi/", revision: None, validation_workers: 2, sharded: None, num_shard: None, quantize: None, speculate: None, dtype: None, trust_remote_code: true, ...
trust_remote_code已经设置为true了，仍然报错

在huggingface上也有人提出了类似的问题： https://huggingface.co/THUDM/cogvlm2-llama3-chat-19B-tgi/discussions/1

Information / 问题信息

[X] The official example scripts / 官方的示例脚本
[ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

详见：https://huggingface.co/THUDM/cogvlm2-llama3-chat-19B-tgi/discussions/1

Expected behavior / 期待表现

正常部署

ericzhou571 commented 3 months ago

很奇怪，在huggingface的main branch里没有见到cogvlm的模型，但是在tgi的版本里未见modeling_cogvlm_xxx.py的文件截屏2024-07-02 16 06 47 截屏2024-07-02 16 10 13

请问tgi版本是有其他load模型代码的方式嘛？

zRzRzRzRzRzRzR commented 2 months ago

tgi的调用方案不需要这些吧，我们提供了构建景象的办法，或许可以看一下我们的技术文档

xzhou42 commented 2 months ago

tgi的调用方案不需要这些吧，我们提供了构建景象的办法，或许可以看一下我们的技术文档

@zRzRzRzRzRzRzR 遇到了相同的问题，看了TGI的代码里并没有匹配上model_type:"cogvlm2", 请问目前有解决方案吗