关于glm4v在v100上运行的问题

achial commented 3 months ago

System Info / 系統信息

autodl上的V100-32GB CUDA版本：≤ 12.2

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

[ ] The official example scripts / 官方的示例脚本
[ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

autodl的v100，拉取魔塔上的glm4v模型，拉取github仓库，修改basic_demo里面的trans_web_vision_demo.py的模型路径，然后启动运行

除了显卡不同，就做了这些事情，在3090上就运行正常，在v100上报错view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead

然后我修改了/root/.cache/huggingface/modules/transformers_modules/glm-4v-9b/visual.py中73行的view()为reshape()，结果重新运行trans_web_vision_demo.py的时候，还是这个报错，并且代码被恢复了，请问如何处理

Expected behavior / 期待表现

希望能像在3090上正常运行该脚本

zRzRzRzRzRzRzR commented 3 months ago

代码被恢复了是什么意思 view的话应该是老卡多卡不支持？

achial commented 3 months ago

代码被恢复了是什么意思 view的话应该是老卡多卡不支持？

就是我想按照报错上提示的改view为reshape(...)，结果改完之后，再启动，它又恢复成view了

zRzRzRzRzRzRzR commented 3 months ago

output = self.dense(out.transpose(1, 2).reshape(B, L, -1)) 你把这个代码直接改动到模型文件夹下的visual.py 我之后会改回reshape

achial commented 3 months ago

output = self.dense(out.transpose(1, 2).reshape(B, L, -1)) 你把这个代码直接改动到模型文件夹下的visual.py 我之后会改回reshape

解决了，是可以了，谢谢谢谢

THUDM / GLM-4