search

THUDM / CogVLM

a state-of-the-art-level open visual language model | 多模态预训练模型
Apache License 2.0
5.95k stars 407 forks source link

modelscope 下载文件 在运行 web_domo.py 的时候没有 model_config.json 文件 #295

Closed DaBaiTuu closed 9 months ago

DaBaiTuu commented 9 months ago

System Info / 系統信息

无关

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

Reproduction / 复现过程

由于 网络问题 不能直接使用 sat 的 下载流程，因此手动下载 modelscope 的 文件 ， 除了能 在 hf 的环境示例下运行 ，在运行 web demo 的文件时，由于 范例给出的 from_pretrained()函数是 sat 库的，因此在拿来导入 modelscope 下载的模型时 不适配 需要导入 model_config.json 这是没有的，我手动改为 由 transformers 的 from_pretrained 方式 有有些其他错误，所以烦请在 web_demo 里对 modelscope 下载 模型 给予适配，亦或给出改动建议，多谢

Expected behavior / 期待表现

web_demo 里对 modelscope 下载 模型 给予适配，亦或给出改动建议

zRzRzRzRzRzRzR commented 9 months ago

啊，不是纯对hf适配的吗

DaBaiTuu commented 9 months ago

啊，不是纯对hf适配的吗

modelscope 确实 纯对 hf 适配的，但只适用于 cli_demo_hf那个py文件， web_domo.py 里是对 sat 适配的， 由于下载原因我只能手动去下载modelscope 的文件， 因此我想要运行的webdemo的时候就有 “未有model_config.json” 的报错

zRzRzRzRzRzRzR commented 9 months ago

你试试hf的webdemo？ 有一个streamlit的呀 完整demo

DaBaiTuu commented 9 months ago

你试试hf的webdemo？ 有一个streamlit的呀 完整demo

哦哦，你说的是composite_domo 文件夹吧，我确实没注意到，我只看了Readme 里的basicdomo， 然后 我试了一下，手动改了一下你的脚本加了load_in_4bit=True,，因为我显存不够：

model = AutoModelForCausalLM.from_pretrained( model_info['path'], torch_dtype=torch_type, low_cpu_mem_usage=True, load_in_4bit=True, trust_remote_code=True, ).eval()

出现了错误： Please Enter your Baidu Translation API Key in function translate_baidu()

DaBaiTuu commented 9 months ago

Screenshot from 2024-01-09 15-20-22

很奇怪，怎么那一步会去调 translate_baidu()

zRzRzRzRzRzRzR commented 9 months ago

如果你用中文就需要填写百度的翻译，这个模型不支持中文

DaBaiTuu commented 9 months ago

如果你用中文就需要填写百度的翻译，这个模型不支持中文

好的谢谢，不过 cli_demo_hf那个py文件有的时候能使用中文。 Screenshot from 2024-01-09 17-59-17

zRzRzRzRzRzRzR commented 9 months ago

因为vicuna 本身能回答一点点中文

wudidaxuexue commented 9 months ago

请问怎么解决的呢，我也遇到了同样的问题。

DaBaiTuu commented 9 months ago

请问怎么解决的呢，我也遇到了同样的问题。

你好好看看我的解决流程，本质上避免 使用sat 库去解析你从 hf ms 下的文件