shadowcz007 / comfyui-mixlab-nodes

Workflow-to-APP、ScreenShare&FloatingVideo、GPT & 3D、SpeechRecognition&TTS
https://mixlabnodes.com
MIT License
1.25k stars 78 forks source link

关于工具栏上的【♾️Mixlab节点】按钮实现的 text-to-text和image-to-text功能,我希望采用本地部署模型实现这个功能而不是采用云LLM实现 #303

Closed BannyLon closed 2 months ago

BannyLon commented 2 months ago

关于工具栏上的【♾️Mixlab节点】按钮实现的 text-to-text和image-to-text功能,我还是希望采用本地部署大模型实现这个功能而不是采用云LLM实现,请问up主,其它功能我正常更新,这个功能我还保持在743a82e这个版本内。我该如何修改代码。盼回复。非常感谢! 1724050784590

chensyo commented 2 months ago

同求增加本地部署模型

shadowcz007 commented 2 months ago

拉最新版,已经兼容,本地和云的都ok了

BannyLon commented 2 months ago

拉最新版,已经兼容,本地和云的都ok了

感谢!我马上去试一试。

BannyLon commented 2 months ago

拉最新版,已经兼容,本地和云的都ok了

这该如何操作本地???? 1724387694119

BannyLon commented 2 months ago

我用API密钥测试了下没没问题了.但是调用本地模型实现text-to-text还没搞清楚??能否指点一二,感谢!

shadowcz007 commented 2 months ago

我用API密钥测试了下没没问题了.但是调用本地模型实现text-to-text还没搞清楚??能否指点一二,感谢!

下载lm studio 或者ollama之类的开启本地llm服务

BannyLon commented 2 months ago

我电脑上一直有ollama的。我还是没搞明白本地是如何运作的。是后台默认选择ollama运行的模型调用的。我们是不能像之前一样是可以选择的

shadowcz007 commented 2 months ago

ollama启动后 有个api地址 填写过来用

BannyLon commented 2 months ago

ollama启动后 有个api地址 填写过来用

老大,最好麻烦你在使用说明里能举例说明,这对弱一点的人会比较友好。我刚才按你说的试一下,请问本地LLM key怎么操作?这个不填,右键就找不到text-to-text菜单?