yolain / ComfyUI-Easy-Use

In order to make it easier to use the ComfyUI, I have made some optimizations and integrations to some commonly used nodes.
GNU General Public License v3.0
537 stars 34 forks source link

功能请求,国产LLM-api支持 #221

Open ghostrunner-art opened 1 week ago

ghostrunner-art commented 1 week ago

作者您好,本地配置大语言模型太吃本机配置。多数伙伴无法流畅运行,而openai等国外的接口,也有很多国内的朋友无法使用。

近期,国产模型api价格已降到白菜价,所以,请求一下支持国产LLMapi的功能。

经过查询,国产通义千问、deepseek、kimi等都支持openai的接口。

yolain commented 1 week ago

mixlab节点包有写相关的内容呢,应该改动起来方便点呢。 我这边暂时还没考虑做llm相关的。

guhuajun commented 1 week ago

作者您好,本地配置大语言模型太吃本机配置。多数伙伴无法流畅运行,而openai等国外的接口,也有很多国内的朋友无法使用。

近期,国产模型api价格已降到白菜价,所以,请求一下支持国产LLMapi的功能。

经过查询,国产通义千问、deepseek、kimi等都支持openai的接口。

我现在两张卡,另一张卡跑ComfyUI Ollama。暂时没什么问题。

ghostrunner-art commented 1 week ago

作者您好,本地配置大语言模型太吃本机配置。多数伙伴无法流畅运行,而openai等国外的接口,也有很多国内的朋友无法使用。 近期,国产模型api价格已降到白菜价,所以,请求一下支持国产LLMapi的功能。 经过查询,国产通义千问、deepseek、kimi等都支持openai的接口。

我现在两张卡,另一张卡跑ComfyUI Ollama。暂时没什么问题。

确实,很多人的电脑都能跑起来ollama,但是70b,很多人都跑不起来。工具考虑的不应该是上限,而是下限。在不影响功能的前提下,能让更多的人用到。 comfy一直在优化内存、显存方面的内容,应该也是因为这个吧。