search

Ucas-HaoranWei / Vary-toy

Official code implementation of Vary-toy (Small Language Model Meets with Reinforced Vision Vocabulary)
565 stars 41 forks source link

修改加载 CLIP-VIT-L 模型路径的问题 #7

Open hotwa opened 5 months ago

hotwa commented 5 months ago

您好，

我在使用 Vary-toy 项目时遇到了一个问题。当我尝试运行模型时，代码试图从一个不存在的或不正确的路径加载 CLIP-VIT-L 模型。具体错误信息如下：

File "/root/micromamba/envs/varytoy/lib/python3.10/site-packages/vary/model/vary_toy_qwen1_8.py", line 26, in __init__ self.vision_tower = CLIPVisionModel.from_pretrained('/data/hypertext/ucaswei/cache/vit-large-patch14/vit-large-patch14/') 问题出现在 vary_toy_qwen1_8.py 文件中，该文件试图从一个硬编码的路径加载模型，而这个路径在我的环境中是不存在的。我发现这个路径是在 site-packages 下的库文件中，这让我无法直接修改它。

我建议在未来的版本中改进此问题，例如通过配置文件或环境变量来设置模型路径，这样用户就可以更容易地使用您的项目而无需修改库文件。

谢谢！

Ucas-HaoranWei commented 5 months ago

好的，谢谢你的建议

hotwa commented 5 months ago

应该在pip install e . 打包安装之间就要把路径修改好，或者将这个路径进行动态传递。集成像ollama那样就比较好用

morego123 commented 5 months ago

同问，不知道在哪里修改这个路径？有跑通的吗？

hotwa commented 5 months ago

同问，不知道在哪里修改这个路径？有跑通的吗？

demo跑通了，但是表格识别有问题。表格地方，作者好像没有开源出来，中英文识别效果很好

lht1605766283 commented 5 months ago

您好，请问要跑demo，是将路径全部改为那个vary_toy的下载在本地的权重路径还是？

TanFluent commented 5 months ago

同问，不知道在哪里修改这个路径？有跑通的吗？

demo跑通了，但是表格识别有问题。表格地方，作者好像没有开源出来，中英文识别效果很好

伸手党来了，可否开一个新项目，共享下推理代码。LOL

hotwa commented 5 months ago

同问，不知道在哪里修改这个路径？有跑通的吗？

demo跑通了，但是表格识别有问题。表格地方，作者好像没有开源出来，中英文识别效果很好

伸手党来了，可否开一个新项目，共享下推理代码。LOL

全局搜索：/data/hypertext/ucaswei/cache/vit-large-patch14/vit-large-patch14/，替换你huggingface下载仓库的路径即可，有四处地方。在执行pip install e .

lantingke commented 4 months ago

同问，不知道在哪里修改这个路径？有跑通的吗？

demo跑通了，但是表格识别有问题。表格地方，作者好像没有开源出来，中英文识别效果很好

伸手党来了，可否开一个新项目，共享下推理代码。LOL

全局搜索：/data/hypertext/ucaswei/cache/vit-large-patch14/vit-large-patch14/，替换你huggingface下载仓库的路径即可，有四处地方。在执行pip install e .

报这个错： AttributeError: 'varyConfig' object has no attribute 'seq_length'. Did you mean: 'max_length'? 请问以下demo代码正确吗？谢谢指点。 python vary/demo/run_qwen_vary.py --model-name /media/xingzhi/BigData/apps/projects/Vary-toy/weights/clip-vit-large-patch14/ --image-file /home/xingzhi/Pictures/Wallpapers/UOS地球日壁纸-3840x2400-03.jpg

GITRMG commented 2 months ago

同问，不知道在哪里修改这个路径？有跑通的吗？

demo跑通了，但是表格识别有问题。表格地方，作者好像没有开源出来，中英文识别效果很好

伸手党来了，可否开一个新项目，共享下推理代码。LOL

全局搜索：/data/hypertext/ucaswei/cache/vit-large-patch14/vit-large-patch14/，替换你huggingface下载仓库的路径即可，有四处地方。在执行pip install e .

我也是整个项目里找有没有包含”/data/hypertext/ucaswei/cache/vit-large-patch14/vit-large-patch14/“的地方，大概也是三四处，修改成clip的本地路径，再在master的文件夹下pip install e . ，跑通了。 后面因为gpu精度问题（p6000/2080 ti）提示gpu不支持bfloat16，我就修改了demo/run_qwen_vary.py中的bfloat16为float16.就运行成功demo了。 分享经验，以供参考