search

heshengtao / comfyui_LLM_party

LLM Agent Framework in ComfyUI includes Omost,GPT-sovits, ChatTTS,GOT-OCR2.0, and FLUX prompt nodes,access to Feishu,discord,and adapts to all llms with similar openai/gemini interfaces, such as o1,ollama, grok, qwen, GLM, deepseek, moonshot,doubao. Adapted to local llms, vlm, gguf such as llama-3.2, Linkage neo4j KG, graphRAG / RAG / html 2 img
GNU Affero General Public License v3.0
1.05k stars 93 forks source link

加载本地模型总是报错，能否详细说一下这一块怎么设置？先谢谢啦~ #20

Closed upboy-web closed 5 months ago

upboy-web commented 5 months ago

QQ截图20240611082851

heshengtao commented 5 months ago

加载器选llava加载器，而不是llm加载器，具体示例工作流可以看我项目下workflow文件夹下的start with LVM.json工作流

upboy-web commented 5 months ago

大佬，我试了，还是不行，麻烦您看看是我哪里选的不对吗？ 11122121

heshengtao commented 5 months ago

我的意思是lvm有专用的加载器节点，就在llm节点下面那个，你可以直接去workflow文件夹里把LVM那个工作流拖进comfyui。其实你可以在我的答疑Q群里问：931057213。这里我在外面的时候不能及时回复

heshengtao commented 5 months ago

点击这里可以查看我所有的示例工作流，start with LVM.json这个文件就是使用LVM模型的工作流，如下图所示： 屏幕截图 2024-06-11 150514

upboy-web commented 5 months ago

搜了，说找不到这个群，我也拖您这个工作流了，不行，还是报错…… image

heshengtao commented 5 months ago

我刚才搜了一下Q群号：931057213，可以搜到的呀。这个报错是说文件路径找不到，就是说你的模型路径写错了，我感觉你是不是没有带后缀名 .guff 啊，第一个框里是D:\AIGC\ComfyUI\models\gguf\llava-phi-3-mini-int4.gguf 第二个框里是D:\AIGC\ComfyUI\models\gguf\llava-phi-3-mini-mmproj-f16.gguf

heshengtao commented 5 months ago

请问问题解决的吗，如果没有欢迎继续提问，如果解决了，我就关闭这个issue啦~

upboy-web commented 5 months ago

我试一下啊，大佬，稍等给您反馈啊

upboy-web commented 5 months ago

大佬，按您提示下载了模型，也改了路径，现在确实不报错了，但是没有返回结果，路径和模型完全按您提示重新下载了，我也再截图上贴上了 QQ截图20240612075929

heshengtao commented 5 months ago

我需要控制台里的输出才能判断是什么问题，我猜是模型没有被正确加载，你可以看一下你的显存里有没有多4G的占用，这个模型要占4个G，可以在任务管理器中查看，请把控制台里的所有输出都复制给我，我比较好判断问题

heshengtao commented 5 months ago

不过，有一说一，这个llava-int4小模型有点疯，就算跑通了流程，这个模型自身的问题，使得图片识别不可用，它会对图片内容胡编乱造，说实话目前开源的lvm模型都多少有点问题，唉，我打算之后尝试适配一下glm4V，如果你实在跑不通流程，等我适配了glm4V再来用吧hhhhhh

heshengtao commented 5 months ago

不过，有一说一，这个llava-int4小模型有点疯，就算跑通了流程，这个模型自身的问题，使得图片识别不可用，说实话目前开源的lvm模型都多少有点问题，唉，我打算之后尝试适配一下glm4V，如果你实在跑不通流程，等我适配了glm4V再来用吧hhhhhh

heshengtao commented 5 months ago

如果Q群搜不到，可能是因为你开了梯子hhhhh

upboy-web commented 5 months ago

如果Q群搜不到，可能是因为你开了梯子hhhhh

哦哦，我去群里搜一下吧，这里确实不方便，嗯，我关梯子搜一下群，辛苦大佬了

heshengtao commented 5 months ago

问题已解决，增加n_ctx大小，缩小图片尺寸，可以解决该问题，本issue关闭