search

CASIA-IVA-Lab / AnomalyGPT

[AAAI 2024 Oral] AnomalyGPT: Detecting Industrial Anomalies Using Large Vision-Language Models
https://anomalygpt.github.io
Other
773 stars 94 forks source link

大家都是用多大内存运行web_demo.py的啊 #87

Open anshiwangwang opened 5 months ago

anshiwangwang commented 5 months ago

服务器32G的内存，每次运行都是imagebind能加载，一到Vicuna就被killed，看了后台应该是内存爆了。想问下有什么办法能解决一下嘛？万分感谢！！！ ![Uploading 屏幕截图 2024-04-14 160833.png…]()

We-IOT commented 4 months ago

同问 Initializing language decoder from ../pretrained_ckpt/vicuna_ckpt/7b_v0 ... Killed

We-IOT commented 4 months ago

看了源码，每次都是使用cpu加载，最后把多个模型加载完，再到cuda上，确实比较消耗内存，我的也是32G，确实在/vicuna_ckpt/7b_v0加载中就爆内存了。 解决方法也简单，增大swapfile就可以了。 目前在在完成后会到cuda，按照demo中模型加载后占用gpu接近20个G。

ggamaz commented 4 months ago

显存使用很少，但内存使用很大

jovejnn commented 2 months ago

有具体增加swapfile的教程吗，我增加了但是还是加载vicuna时被kill了