StartHua / Comfyui_CXH_joy_caption

Recommended based on comfyui node pictures:Joy_caption + MiniCPMv2_6-prompt-generator + florence2
Apache License 2.0
414 stars 26 forks source link

即使用4090也跑不了meta 8b的模型。感觉是一直在加载模型 #49

Open RaySteve312 opened 1 month ago

RaySteve312 commented 1 month ago

即使用4090也跑不了meta 8b的模型。感觉是一直在加载模型。我已经把hf上所有文件都下载到llm里。只加载一张图,跑了十几分钟没有变化。 屏幕截图 2024-09-10 213938

RaySteve312 commented 1 month ago

换成bnb-4bit模型很快跑通 屏幕截图 2024-09-10 214652