Open ghostrunner-art opened 1 week ago
mixlab节点包有写相关的内容呢,应该改动起来方便点呢。 我这边暂时还没考虑做llm相关的。
作者您好,本地配置大语言模型太吃本机配置。多数伙伴无法流畅运行,而openai等国外的接口,也有很多国内的朋友无法使用。
近期,国产模型api价格已降到白菜价,所以,请求一下支持国产LLMapi的功能。
经过查询,国产通义千问、deepseek、kimi等都支持openai的接口。
我现在两张卡,另一张卡跑ComfyUI Ollama。暂时没什么问题。
作者您好,本地配置大语言模型太吃本机配置。多数伙伴无法流畅运行,而openai等国外的接口,也有很多国内的朋友无法使用。 近期,国产模型api价格已降到白菜价,所以,请求一下支持国产LLMapi的功能。 经过查询,国产通义千问、deepseek、kimi等都支持openai的接口。
我现在两张卡,另一张卡跑ComfyUI Ollama。暂时没什么问题。
确实,很多人的电脑都能跑起来ollama,但是70b,很多人都跑不起来。工具考虑的不应该是上限,而是下限。在不影响功能的前提下,能让更多的人用到。 comfy一直在优化内存、显存方面的内容,应该也是因为这个吧。
作者您好,本地配置大语言模型太吃本机配置。多数伙伴无法流畅运行,而openai等国外的接口,也有很多国内的朋友无法使用。
近期,国产模型api价格已降到白菜价,所以,请求一下支持国产LLMapi的功能。
经过查询,国产通义千问、deepseek、kimi等都支持openai的接口。