MartialBE / one-api

OpenAI 接口管理 & 分发系统,改自songquanpeng/one-api。支持更多模型,加入统计页面,完善非openai模型的函数调用。
https://one-api-martialbe.vercel.app/
Apache License 2.0
807 stars 164 forks source link

请问可否提供纯网关简化版本 #280

Closed snakeying closed 5 days ago

snakeying commented 1 week ago

例行检查

[x] 我已确认目前没有类似 issue [x] 我已确认我已升级到最新版本 [x] 我已完整查看过项目 README,已确定现有版本无法满足需求 [x] 我理解并愿意跟进此 issue,协助测试和提供反馈 [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

在申请功能请求前,感谢作者在one-api的基础上做出的改进,特别是在原作者因精力不足等原因维护变慢的情况下,这个repo是个很棒的分支。

功能描述

请问能否制作一个纯网关简化版本, 去除各种计费管理功能,提高转发效率。

应用场景 我想对于大多数使用者来说,使用这种工具还是为了方便在第三方UI中调用不同的模型,实际上并没有计费需求。 如果可以提供纯网关简化版本免费使用,同时保留计费版本将来可以商用,不知道作者意向如何?

bahuzh commented 1 week ago

转发效率已经非常高了,个人用应该足够了

MartialBE commented 5 days ago

纯网关使用,你想要保留哪些功能呢? 我感觉 如果不需要计费的话,其他功能你不设置就可以了。 如果是觉得内存占用过大的话,你可以关闭 使用tiktoken 计算 token,在环境变量设置DISABLE_TOKEN_ENCODERStrue或者在config.yaml中将disable_token_encoders设为true即可。

snakeying commented 5 days ago

我只是个人用不上计费功能所以不想要罢了,那就不设置好了,谢谢