jtsang4 / claude-to-chatgpt

This project converts the API of Anthropic's Claude model to the OpenAI Chat API format.
MIT License
1.27k stars 150 forks source link

在cloudflare配置后,在chatbox端或者next web使用,回复不完整,不超过20个 #16

Open ychappyboy opened 1 year ago

ychappyboy commented 1 year ago

有时候直接失去响应,是什么原因啊,谢谢!

jtsang4 commented 1 year ago

是不是输入内容过长,cloudfalre 单词响应时间是有限制的,可以在本地用 docker 部署一个版本测试一下

ychappyboy commented 1 year ago

谢谢大神回复。输入内容并不长,就是一句话,而且我还购买了cloudflare worker的升级服务,简单设置过openai反代没问题,应该不是响应限制的问题,貌似反馈回来只有一部分数据,流就不继续输出了。

ychappyboy commented 1 year ago

刚刚咨询了一个朋友,他说转换没问题,但是6月1日claude官方更新了API版本,有些前端不适应,可能包括这两个吧,是不是还有其他可适配的前端啊

cwyalpha commented 1 year ago

同是这个问题,之前输入100k文本还行,现在动不动无回复。

jtsang4 commented 1 year ago

@ychappyboy @cwyalpha 可以直接用 curl 命令行调用下部署的 API 试试,调用方式和 OpenAI API 一样,比如:

curl --request POST \
  --url https://<你的域名>/v1/chat/completions \
  --header 'Authorization: Bearer <你的 token>' \
  --header 'Content-Type: application/json' \
  --data '{
  "messages": [
    {
      "content": "<你的问题>",
      "role": "system"
    }
  ],
  "temperature": 0.7,
  "model": "gpt-3.5-turbo",
  "max_tokens": 2048,
  "stream": true
}'

我自己目前主要用 Chatbox@0.5.2 版本作为客户端,因为它支持无限长 token

gdlbu commented 1 year ago

这个问题貌似有一个月了,我用chatgpt next web调用一直出问题。 会不会是Claude或openAI的API格式放生了变化,造成不兼容?

刚才试了下chatbox 0.5.2、0.5.6、web版,都有问题,很难吐出字来

jtsang4 commented 1 year ago

这个问题貌似有一个月了,我用chatgpt next web调用一直出问题。 会不会是Claude或openAI的API格式放生了变化,造成不兼容?

刚才试了下chatbox 0.5.2、0.5.6、web版,都有问题,很难吐出字来

是 Cloudflare 版本还是 Docker 部署的版本?我自己用的 Docker 版本一直没问题

gdlbu commented 1 year ago

这个问题貌似有一个月了,我用chatgpt next web调用一直出问题。 会不会是Claude或openAI的API格式放生了变化,造成不兼容? 刚才试了下chatbox 0.5.2、0.5.6、web版,都有问题,很难吐出字来

是 Cloudflare 版本还是 Docker 部署的版本?我自己用的 Docker 版本一直没问题

Cloudflare,直接copy你的js。以前是没问题的,就是6月份开始出问题

cwyalpha commented 1 year ago

这个问题貌似有一个月了,我用chatgpt next web调用一直出问题。 会不会是Claude或openAI的API格式放生了变化,造成不兼容?

刚才试了下chatbox 0.5.2、0.5.6、web版,都有问题,很难吐出字来

同样的,使用chatbox、next web,也都是6月开始出问题,之前100k文本都没问题

JamesFlare1212 commented 1 year ago

我在 https://github.com/jtsang4/claude-to-chatgpt/pull/10 中提到和修正了 Docker 版的这个问题。本质是 Workers 免费版给了每个子请求 10ms 的 CPU 时间,而长回答自然等不及。一种思路是分块,但是显然 Claude 行不通,那只能充钱升级 50ms 了,但最好的情况也就多 5 倍,有要求还是使用 Docker 版本吧,如果小范围测试可以用我这个。 https://claude-to-chatgpt.jamesflare.com。不过即便是这样,单次回答官方限制了差不多 7.5k-10k Token 的一个长度。

ychappyboy commented 1 year ago

我在 #10 中提到和修正了 Docker 版的这个问题。本质是 Workers 免费版给了每个子请求 10ms 的 CPU 时间,而长回答自然等不及。一种思路是分块,但是显然 Claude 行不通,那只能充钱升级 50ms 了,但最好的情况也就多 5 倍,有要求还是使用 Docker 版本吧,如果小范围测试可以用我这个。 https://claude-to-chatgpt.jamesflare.com。不过即便是这样,单次回答官方限制了差不多 7.5k-10k Token 的一个长度。

我使用你的api接口,速度很快啊,可以分享一下cloudflare-worker.js吗,还有cloudflare中使用量模型和放置是如何设置的吗,谢谢大神!

gdlbu commented 1 year ago

诡异的是以前没有这问题啊,6月份才发生。免费版、代码都没变,难道API变了?

jtsang4 commented 1 year ago

诡异的是以前没有这问题啊,6月份才发生。免费版、代码都没变,难道API变了?

也许和 6 月 1 号后请求头增加了 anthropic-version 有关,目前已增加此请求头并支持 claude-2 模型,可以再试试

gdlbu commented 1 year ago

诡异的是以前没有这问题啊,6月份才发生。免费版、代码都没变,难道API变了?

也许和 6 月 1 号后请求头增加了 anthropic-version 有关,目前已增加此请求头并支持 claude-2 模型,可以再试试

多谢大佬彻夜修改!刚才试了一下cloudflare,问题依然存在

jtsang4 commented 1 year ago

诡异的是以前没有这问题啊,6月份才发生。免费版、代码都没变,难道API变了?

也许和 6 月 1 号后请求头增加了 anthropic-version 有关,目前已增加此请求头并支持 claude-2 模型,可以再试试

多谢大佬彻夜修改!刚才试了一下cloudflare,问题依然存在

也许是 CloudFlare Worker 变了,现在可能很严格地控制返回要在 10ms 以内,我自己试了下也有问题……这种情况还是推荐用 docker 部署了

Jialinvip commented 1 year ago

应该不是10ms的CPU时间限制,CF里面可以看到CPU中值时间不超1ms,也就大多请求都不会超过1ms,我换到deno.com部署也是一样只输出20个字左右就停止了。希望能找出问题修复,谢谢!

happychos commented 1 year ago

改了一下应该可以了,但我的API被封了....,谁可以生成一个api分享我再详细测试下,感激不尽,邮箱ychappyboy@gmail.com 测试api host:https://testapi.sunnystream.stream

aistart commented 1 year ago

现在直接使用Cloudflare copy 那个文件内容,仍是老问题。看[Jialinvip] commented [on Jul 18]分析的有道理,不知最终是否能解决Cloudflare的问题?

Bloomberg-zhong commented 1 year ago

@ jtsang4 next web 现在必须要API支持查询余额,所以老板什么时候修复一下?

image

https://github.com/Yidadaa/ChatGPT-Next-Web/issues/1938

jtsang4 commented 1 year ago

@ jtsang4 next web 现在必须要API支持查询余额,所以老板什么时候修复一下? image Yidadaa/ChatGPT-Next-Web#1938

这个应该可以传递 HIDE_BALANCE_QUERY 来避免开启余额查询功能。

jtsang4 commented 1 year ago

感谢 https://github.com/jtsang4/claude-to-chatgpt/pull/27 的贡献,可以再尝试一下