本地用llama.cpp 部署的llm服务支持吗

okisdev / ChatChat

Chat Chat, your own unified chat and search to AI platform, with a simple and easy to use interface.

https://chat.okisdev.com

GNU Affero General Public License v3.0

1.19k stars 217 forks source link

Closed shengkaixuan closed 8 months ago

shengkaixuan commented 1 year ago

本地用llama.cpp 部署的llm服务，提供了与openai 兼容的API，chatchat 是否支持？？？？

okisdev commented 1 year ago

本地部署的需要测试一下，理论上是可以的。

HelloEveryonehh commented 8 months ago

@okisdev 想请问一下，本地部署LLM，只提供openai的api而不提供openai的api-key是允许的吗？

okisdev commented 8 months ago

@okisdev 想请问一下，本地部署LLM，只提供openai的api而不提供openai的api-key是允许的吗？

本地部署你可以不填写 apiKey，选择 openai 但是只要是和 openai 一样的 api 接口就可以使用