fruitbars / simple-one-api

OpenAI 接口接入适配，支持千帆大模型平台、讯飞星火大模型、腾讯混元以及MiniMax、Deep-Seek，等兼容OpenAI接口，仅单可执行文件，配置超级简单，一键部署，开箱即用. Seamlessly integrate with OpenAI and compatible APIs using a single executable for quick setup and deployment.

MIT License

1.38k stars 121 forks source link

优化对 QPM/RPM 限流的支持 #49

Closed xiaotianxt closed 3 months ago

xiaotianxt commented 3 months ago

基于滑动窗口算法实现真正的 QPM/RPM 支持

主要变更

新增 SlidingWindowLimiter 实现 QPM/RPM 限流
更新 Limiter 结构体和相关方法以支持新的限流器
修改 GetServiceModelDetailsLimit 函数，直接返回 QPM 而非转换为 QPS

变更原因

在原先的实现中，QPM 和 RPM 的 limit 会被简单处理为 value / 60 的 QPS。

例如，groq 的单个模型请求限制是 30 QPM，会被转化为 0.5 QPS，进而导致模型不可用。

新实现使用滑动窗口算法，更精确地限制任意 60 秒内的请求数，更贴近后端服务的实际行为。

注意事项

请重点测试依赖 QPM/RPM 限制的服务
审查 SlidingWindowLimiter 的实现和 GetServiceModelDetailsLimit 的变更
考虑新实现在内存使用和精确度之间的权衡

xiaotianxt commented 3 months ago

顺便发现 RPM 在之前配置之下是不起作用的，也修复了。

fruitbars commented 3 months ago

好的，感谢！