Open buptsdz opened 10 months ago
这是我的代码,自己新建的一个py文件,用的是给的hug的示例,我已经把模型下载到本地: from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("visualglm-6b", trust_remote_code=True) model = AutoModel.from_pretrained("visualglm-6b", trust_remote_code=True).quantize(4).half().cuda() model = model.eval() image_path = "./examples/1.jpeg" response, history = model.chat(tokenizer, image_path, "描述这张图片。", history=[]) print(response) response, history = model.chat(tokenizer, image_path, "这张图片可能是在什么场所拍摄的?", history=history) print(response)
下载的模型放在这个文件夹中
报错信息
我的cuda是11.6版本,torch和torchvision对应的版本也没问题
请大神帮忙看看
这是我的代码,自己新建的一个py文件,用的是给的hug的示例,我已经把模型下载到本地: from transformers import AutoTokenizer, AutoModel tokenizer = AutoTokenizer.from_pretrained("visualglm-6b", trust_remote_code=True) model = AutoModel.from_pretrained("visualglm-6b", trust_remote_code=True).quantize(4).half().cuda() model = model.eval() image_path = "./examples/1.jpeg" response, history = model.chat(tokenizer, image_path, "描述这张图片。", history=[]) print(response) response, history = model.chat(tokenizer, image_path, "这张图片可能是在什么场所拍摄的?", history=history) print(response)
下载的模型放在这个文件夹中![1698728491450](https://github.com/THUDM/VisualGLM-6B/assets/110439335/2ba8069c-19d1-4cfc-9ebb-2235714cde68)
报错信息![1698728550640](https://github.com/THUDM/VisualGLM-6B/assets/110439335/8b88b274-18c9-4ecc-9bcd-f81f1beba0eb)
我的cuda是11.6版本,torch和torchvision对应的版本也没问题
请大神帮忙看看