search

xusenlinzy / api-for-open-llm

Openai style api for open large language models, using LLMs just as chatgpt! Support for LLaMA, LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, Xverse, SqlCoder, CodeLLaMA, ChatGLM, ChatGLM2, ChatGLM3 etc. 开源大模型的统一后端接口
Apache License 2.0
2.16k stars 252 forks source link

我现在部署了很多模型，有没有一个webui 界面让我来统一调用部署的模型进行推理 #278

Closed Tendo33 closed 4 weeks ago

Tendo33 commented 4 weeks ago

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

可以将部署的模型统一在webui 进行管理和推理，只需要填写模型名和本地的api-base 就可以调用到

基本示例 | Basic Example

None

缺陷 | Drawbacks

streamlit-demo 只能选择一个模型进行对话

未解决问题 | Unresolved questions

No response

xusenlinzy commented 4 weeks ago

更新一下代码试试 image

Tendo33 commented 4 weeks ago

GLM4 出了，template 可能要更新一下

xusenlinzy commented 4 weeks ago

已经更新了