search

jtsang4 / claude-to-chatgpt

This project converts the API of Anthropic's Claude model to the OpenAI Chat API format.
MIT License
1.27k stars 150 forks source link

对于rate limit的处理 #15

Open JamesFlare1212 opened 1 year ago

JamesFlare1212 commented 1 year ago

今天又测试了一下，发现缺少对Claude API rate_limit_error 的处理，没记错OpenAI 报错会发一个message之类的信息，里面就可以写上rate limit，或者我记得官方就有rate limit error来着。

我的想法是，当探测到返回字段是：

{"error":{"type":"rate_limit_error","message":"Number of concurrent connections to Claude exceeds your rate limit. Please try again, or contact sales@anthropic.com to discuss your options for a rate limit increase."}}

的时候，就构造一个message返回，或者429报错。

此外，Claude给的免费API的rate是1秒一次，未来能否搞一个排队之类的功能。

jtsang4 commented 1 year ago

很好的想法！感觉可以加一下。不过我最近很可能没时间处理，也欢迎 PR 哈