ChatZhipuAI可以不使用api_key嘛？我用自己本地部署好的glm4可以嘛？

arcstep / langchain_zhipuai

为了兼容Langchain，根据zhipu官方HTTP的API重新实现的Python SDK

50 stars 7 forks source link

Closed RyanOvO closed 3 months ago

RyanOvO commented 3 months ago

如题

arcstep commented 3 months ago

这与你如何部署 glm4 有关系，比如用 Ollama，你就可以直接使用 [https://python.langchain.com/v0.2/docs/integrations/llms/ollama/]

RyanOvO commented 3 months ago

理解了，如果这么看的话，vLLM其实也是一样的，不需要用什么api_key，指定一个路径就行。但好像如果是原生本地部署，起API的方式，目前看，好像是不支持endpoint_url的方式了。

arcstep commented 3 months ago

大模型就跟其他神经网络是一样的，都可以直接用python代码调用；整合到Web API需要额外的工作，是为了方便应用集成和并发调用；而集成到Web API后，为了安全和授权管理就需要API_KEY了... 实际上是越来越复杂。

但这个过程并不是必要的，你完全可以用最初的方式来集成，langchain 中也有很好的支持。