arm版可否出个骨头版？用于低内存低存储的路由器等等

MartialBE / one-api

OpenAI 接口管理 & 分发系统，改自songquanpeng/one-api。支持更多模型，加入统计页面，完善非openai模型的函数调用。

https://one-api-martialbe.vercel.app/

Apache License 2.0

813 stars 166 forks source link

Closed kknd222 closed 1 month ago

kknd222 commented 1 month ago

功能描述

希望能有模块化设计以及定制功能启用禁用

应用场景

小内存及存储资源的硬件，比如soho路由；个人用户并非商业性质的粗放式管理配置。

MartialBE commented 1 month ago

只要不启用 tiktoken 编码器就好了，他占用了40M左右的内存，主程序的内存占用只有10M多。 dev已经增加了DISABLE_TOKEN_ENCODERS配置：启用后，不会加载 tiktoken，可节省40M左右内存，但是stream模式下tokens计算不准确。

你可以先自己编译一下或者拉取dev镜像，然后在config.yaml将disable_token_encoders设为true