search

KenyonY / openai-forward

🚀 大语言模型高效转发服务 · An efficient forwarding service designed for LLMs. · OpenAI API Reverse Proxy
https://api.openai-forward.com
MIT License
839 stars 288 forks source link

请问可否在启动命令中增加port和webui port的设置 #122

Closed imClumsyPanda closed 6 months ago

imClumsyPanda commented 7 months ago

Checklist

详细描述

请问可否在启动命令中增加port和webui port的设置

KenyonY commented 7 months ago

https://github.com/KenyonY/openai-forward/blob/8322a46bef74ae9465efcb7e08e561c60be6cf6b/openai_forward/__main__.py#L33

main分支上是已经支持的，release还没有更新上去

imClumsyPanda commented 7 months ago

https://github.com/KenyonY/openai-forward/blob/8322a46bef74ae9465efcb7e08e561c60be6cf6b/openai_forward/__main__.py#L33

main分支上是已经支持的，release还没有更新上去

感谢回复！经测试如果同服务器中启动两个openai forward服务会提示15555端口占用问题，请问可以把这个端口也一起处理为启动配置项吗？或者可否在检测端口占用时更换为其他端口呢？

imClumsyPanda commented 7 months ago

另外还想请教下，如果部署的模型不在webui api key页的multiselectbox范围内，对forward类型的api转发还会存在api key等级限制吗？目前测试下来使用0级/1级的key都可以调用全部模型，但配置文件中目前已经限制了1级仅可使用1种模型

KenyonY commented 7 months ago

请问可以把这个端口也一起处理为启动配置项吗？

感谢建议，后面也许可以将15555和15556这两个内部端口支持在环境变量中配置

KenyonY commented 7 months ago

另外还想请教下，如果部署的模型不在webui api key页的multiselectbox范围内，对forward类型的api转发还会存在api key等级限制吗？目前测试下来使用0级/1级的key都可以调用全部模型，但配置文件中目前已经限制了1级仅可使用1种模型

理论上不应出现这种情况，你可以将生成的.env文件贴到这里 （或许新起个issue更合适

imClumsyPanda commented 7 months ago

另外还想请教下，如果部署的模型不在webui api key页的multiselectbox范围内，对forward类型的api转发还会存在api key等级限制吗？目前测试下来使用0级/1级的key都可以调用全部模型，但配置文件中目前已经限制了1级仅可使用1种模型

理论上不应出现这种情况，你可以将生成的.env文件贴到这里 （或许新起个issue更合适

好的 感谢回复

imClumsyPanda commented 7 months ago

另外还想请教下，如果部署的模型不在webui api key页的multiselectbox范围内，对forward类型的api转发还会存在api key等级限制吗？目前测试下来使用0级/1级的key都可以调用全部模型，但配置文件中目前已经限制了1级仅可使用1种模型

理论上不应出现这种情况，你可以将生成的.env文件贴到这里 （或许新起个issue更合适

已发起新issue，请见https://github.com/KenyonY/openai-forward/issues/123

KenyonY commented 6 months ago

done.