MartialBE / one-api

OpenAI 接口管理 & 分发系统,改自songquanpeng/one-api。支持更多模型,加入统计页面,完善非openai模型的函数调用。
https://one-api-martialbe.vercel.app/
Apache License 2.0
814 stars 166 forks source link

建议支持失败重试的功能 #207

Closed jqlts1 closed 1 month ago

jqlts1 commented 1 month ago

在newapi中的这个功能 , 是可以针对请求失败的渠道 ( 比如错误,或是账户余额不足,网络问题 ) 等进行重试的

image

这个功能在运营中几乎是必须的, 因为在fastgpt ,dify等工作流编排中, 出现错误,似乎会导致整个工作流无法持续运行下去

建议

  1. 可以设置全局重试,参考newapi的逻辑就可以
  2. 或是可以在"令牌"中设置单独的重试, ( 因为有的人会根据不同渠道划分,比如一些逆向接口,就需要更多的重试 )
  3. 如果是一些明显的错误 , 看下能否直接禁用渠道,或是连续失败大于 xxx次以后就禁用渠道
MartialBE commented 1 month ago

不是有这个功能么

重试次数 重试间隔

jqlts1 commented 1 month ago

不是有这个功能么

重试次数 重试间隔

在哪里呢? 好像没有找到...我好几个朋友也没看到...

MartialBE commented 1 month ago

设置 运营设置 通用设置 里面

MartialBE commented 1 month ago

优先级/权重解释:

  1. 优先级越大,越优先使用;(只有该优先级下的节点都冻结或者禁用了,才会使用低优先级的节点)
  2. 相同优先级下:根据权重进行负载均衡(加权随机)
  3. 如果在设置-通用设置中设置了“重试次数”和“重试间隔”,则会在失败后重试。
  4. 重试逻辑:1)先在高优先级中的节点重试,如果高优先级中的节点都冻结了,才会在低优先级中的节点重试。2)如果设置了“重试间隔”,则某一渠道失败后,会冻结一段时间,所有人都不会再使用这个渠道,直到冻结时间结束。3)重试次数用完后,直接结束。
jqlts1 commented 1 month ago

优先级/权重解释:

  1. 优先级越大,越优先使用;(只有该优先级下的节点都冻结或者禁用了,才会使用低优先级的节点)
  2. 相同优先级下:根据权重进行负载均衡(加权随机)
  3. 如果在设置-通用设置中设置了“重试次数”和“重试间隔”,则会在失败后重试。
  4. 重试逻辑:1)先在高优先级中的节点重试,如果高优先级中的节点都冻结了,才会在低优先级中的节点重试。2)如果设置了“重试间隔”,则某一渠道失败后,会冻结一段时间,所有人都不会再使用这个渠道,直到冻结时间结束。3)重试次数用完后,直接结束。

这个失败会自动禁用吗? 或是连续失败几次以后自用禁用?

MartialBE commented 1 month ago

失败自动禁用也在设置里面。这里的逻辑和 原版 是一样的

q751654992 commented 5 days ago

设置 运营设置 通用设置 里面

这个字体好小, 我看了好几遍居然都没看到, 😂