即使用4090也跑不了meta 8b的模型。感觉是一直在加载模型

StartHua / Comfyui_CXH_joy_caption

Recommended based on comfyui node pictures:Joy_caption + MiniCPMv2_6-prompt-generator + florence2

Apache License 2.0

414 stars 26 forks source link

Open RaySteve312 opened 1 month ago

RaySteve312 commented 1 month ago

即使用4090也跑不了meta 8b的模型。感觉是一直在加载模型。我已经把hf上所有文件都下载到llm里。只加载一张图，跑了十几分钟没有变化。屏幕截图 2024-09-10 213938

RaySteve312 commented 1 month ago

换成bnb-4bit模型很快跑通屏幕截图 2024-09-10 214652