search

MinusZoneAI / ComfyUI-Prompt-MZ

基于llama.cpp的一些和提示词相关的节点，目前包括美化提示词和类似clip-interrogator的图片反推 | Use llama.cpp to assist in generating some nodes related to prompt words, including beautifying prompt words and image recognition similar to clip-interrogator
GNU General Public License v3.0
83 stars 6 forks source link

不知道为什么当gpu还有显存的时候会选择走cpu而不是gpu #5

Closed wujm424606 closed 2 months ago

wujm424606 commented 2 months ago

当运行这个提示词优化生成的时候不知道为什么每次都会走cpu，去占用内存而不是gpu的显存，我的显卡是笔记本显卡4090的16g的

wujm424606 commented 2 months ago

image

lzhfdwu007 commented 2 months ago

看看是不是有个layer选项默认我记得是40，好像是把模型的多少加载到显存的 你看看改成100可不可以

wailovet commented 2 months ago

看看是不是有个layer选项默认我记得是40，好像是把模型的多少加载到显存的 你看看改成100可不可以

-1是加载全部，会使用到gpu的，但依然会占用内存，这个问题主要依赖上游的llama.cpp，机子好可以等我后续放出更多llama.cpp选项去控制

msola-ht commented 2 months ago

我也是一样 Prompt executed in 132.20 秒 走一次2-3分钟 一开始CPU占用100% 后面才会调用GPU

wailovet commented 2 months ago

检查llama-cpp-python版本和CUDA是否对上,重新手动安装正确版本的llama-cpp-python后再试试看 https://github.com/abetlen/llama-cpp-python/releases