search

GaiZhenbiao / ChuanhuChatGPT

GUI for ChatGPT API and many LLMs. Supports agents, file-based QA, GPT finetuning and query with web search. All with a neat UI.
https://huggingface.co/spaces/JohnSmith9982/ChuanhuChatGPT
GNU General Public License v3.0
15.26k stars 2.3k forks source link

[功能请求]: 使用Azure OpenAI API支持查询Endpoint下的全部部署。 #1044

Open acotor opened 9 months ago

acotor commented 9 months ago

相关问题

暂未发现与现有问题有关。 期望效果：我想通过一次性配置 config.json，实现将 gpt-4, gpt-3.5-turbo-16k 等模型一并引入 chuanhu，供我使用时选择。 当前问题：当前 config.json 模板中有"azure_deployment_name"一值，我理解为 chaunhu 要求用户指定使用比如 deploy-gpt-3.5-turbo 部署（deployment）。这似乎导致我虽然拥有一组 Azure OpenAI API 资源，仅能引入一个模型。实际上微软在一组资源中为用户授权了多个模型，但一个部署只能对应一个模型。另外，项目缺少 Azure OpenAI API 的配置示例、详细文档，未能描述清楚项目是如何处理该 API 资源的。

可能的解决办法

首先，解决思路上，OpenCat 提供了一种好的思路，只需要用户提供 Azure OpenAI API、Endpoint Url 即可，软件会自动查询该终结点下的所有部署，用户可以每个模型创建一个部署，最终实现无需修改配置文件，在运行时可以按对话、场景选择需要的模型。 其次，在功能实现的前提下，配置文件中去掉 deployment 的配置项，或通过文档说明该项是可选。配置了该项，即代表管理员限制了只能使用例如 gpt-3.5-turbo 模型而限制用户使用 gpt-4；配置留空则表示管理员允许用户使用所有已部署的模型。

帮助开发

补充说明

No response

GaiZhenbiao commented 9 months ago

了解

acotor commented 9 months ago

补充一下：可能的解决办法 config.json 中 "azure_deployment_name" 如果允许填写多个部署名，也是可以的，LibreChat 就是这么处理的。同时另外增加一个类似 azure_default_deployment 用于指定 azure 的默认聊天模型。写 deployment 名而不是写 model 名，是因为 Azure 在部署模型时，一个部署只能对应一个模型，而部署名不允许有小数点，只有数字、字母和-_，因此会有 [部署名]gpt-35-turbo - [模型名]gpt-3.5-turbo 这样的映射关系存在。假设川虎支持多个 Azure 部署后，可能要将用户定义的一系列部署名作为 Azure 专属的模型名称追加至模型清单中；或者将程序内现有的、通用的、抽象的 OpenAI 模型名称，与 Azure 的部署名做好映射。