KoriIku / chatgpt-degrade-checker

ChatGPT 服务降级监测工具
GNU Affero General Public License v3.0
176 stars 3 forks source link

这个检测方法可能存在一定的遗漏 #4

Open Crestina2001 opened 2 weeks ago

Crestina2001 commented 2 weeks ago

根据您提供的检测方法,我在F12->Network->chat-resquirements->Response中找到了相关信息,并且测试了两个账号。

第一个账号是我自己的账号,显示如下信息:

{
    "persona": "chatgpt-paid",
    "token": "...",
    "arkose": {},
    "turnstile": {
        "required": true,
        "dx": "..."
    },
    "proofofwork": {
        "required": true,
        "seed": "0.6551590032466446",
        "difficulty": "03f769"
    }
}

我的账号的情况是非常卡,但是没有被降智。

另一个账号是一个共享池的账号(反向代理那种),显示如下信息:

{
    "arkose": {
        "dx": null,
        "required": false
    },
    "persona": "chatgpt-paid",
    "proofofwork": {
        "difficulty": null,
        "required": false,
        "seed": null
    },
    "token": "d8f2dbe2-df1a-4d0b-a30c-3dd1465e6d95",
    "turnstile": {
        "dx": null,
        "required": false
    }
}

这个账号的情况是非常快,但是被降智。

所以推测Pow值和响应速度的关系可能更大,不一定能反映降智情况

KoriIku commented 2 weeks ago

感谢发起讨论。

pow确实不反应降智情况,而是某种程度上反应 ChatGPT 对当前访问环境判定的风险等级,风险越高,pow越困难。

同时,ChatGPT 会对一些高风险 ip 进行降级,这就是 PoW 和降级的关系。

这里并没有考虑到账号自身的情况,而是“账号正常”的情况下,仅仅因为环境原因遭到降级。当然,即便是这个语境中,PoW 和 降级也不能完全画等号。

你的第一条数据中的 difficulty 非常简单,表明你的环境正常,在这个工具中应该会被判断为“极易”和“优秀”,不被降级是符合预期的。

而第二条数据则完全没有要求 pow ,甚至没要求 turnstile,我不知道为什么,或许他们有这样一种策略:既然已经降级到低成本模型了,就没必要再要求 PoW 了?

最后,关于响应速度,似乎存在误解。响应速度和降级强相关,更好的模型输出速度一定比更差的模型慢,通过响应速度判断是比 PoW 检测更准确的指标。

如果响应速度已经明显变得非常快,那么 PoW 检测是完全没必要的。PoW 检测的意义是:当我还没有明显感受到服务降级时,检查当前环境是否正被 OpenAI 判定为高风险。


Thank you for initiating this discussion.

The PoW (Proof of Work) mechanism does not directly indicate a system's downgrade. Rather, it reflects ChatGPT's assessment of the risk level associated with the current access environment: the higher the perceived risk, the more challenging the PoW becomes.

At the same time, ChatGPT may downgrade certain high-risk IPs, which explains the relationship between PoW and downgrade mechanisms. However, this evaluation does not take individual account status into consideration. Instead, it assumes that an account is in "normal" standing and only applies downgrades based on environmental risk factors. Even so, in this context, PoW and downgrading are not synonymous and should not be directly equated.

Your first data point shows a very low difficulty level, indicating a secure environment. In this system, your access would likely be classified as “very low-risk” and “optimal,” so it is expected that no downgrades are applied.

In your second data point, however, there was no PoW requirement at all, nor even a turnstile check. I’m not entirely sure why this was the case, but it’s possible that OpenAI employs a strategy where, once a low-cost model is already assigned due to downgrade, further PoW verification is deemed unnecessary.

Lastly, regarding response speed, there may be a misunderstanding. Response speed is closely linked to model downgrade status; higher-quality models inherently take longer to generate output compared to lower-tier models. Consequently, response speed serves as a more accurate indicator of downgrade status than PoW checks.

If response speed has significantly increased, then PoW checks are likely redundant. The purpose of PoW checks is to assess environmental risk when a service downgrade is not yet clearly evident in response behavior.

Crestina2001 commented 2 weeks ago

感谢发起讨论。

pow确实不反应降智情况,而是某种程度上反应 ChatGPT 对当前访问环境判定的风险等级,风险越高,pow越困难。

同时,ChatGPT 会对一些高风险 ip 进行降级,这就是 PoW 和降级的关系。

这里并没有考虑到账号自身的情况,而是“账号正常”的情况下,仅仅因为环境原因遭到降级。当然,即便是这个语境中,PoW 和 降级也不能完全画等号。

你的第一条数据中的 difficulty 非常简单,表明你的环境正常,在这个工具中应该会被判断为“极易”和“优秀”,不被降级是符合预期的。

而第二条数据则完全没有要求 pow ,甚至没要求 turnstile,我不知道为什么,或许他们有这样一种策略:既然已经降级到低成本模型了,就没必要再要求 PoW 了?

最后,关于响应速度,你似乎存在误解。响应速度和降级强相关,更好的模型输出速度一定比更差的模型慢,通过响应速度判断是比 PoW 检测更准确的指标。

如果响应速度已经明显变得非常快,那么 PoW 检测是完全没必要的。

1,我理解降智的表现:o1不思考就回答,4o无法画图和搜索(工具的使用是通过system prompt控制的,现在4o-mini貌似也可以画图了,所以这一条目前已经无法判断了,现在只能通过o1思考与否进行判断)。

2,我所说的”响应慢“指的是出现输入问题,按Enter,无法发送的情况。在response中查看,显示403 Forbidden。但是经过几次刷新,再发送,又可以了。共享池不会出现这种情况,而我自己的账号经常出现这种情况。

KoriIku commented 2 weeks ago

嗷嗷,那是我理解错了,抱歉。

我记得 403 是 cloudflare 拦截的表现,你描述的情况和你前面分享的 json 也能对上。由于你自己的账号要求了 turnstile,被拦截时就会 403,而共享账号完全没要求 turnstile,自然也就不会 403。

对你自己的账号,由于可以正常使用高算力的高级模型,有一定风控很正常。403的问题我记得有另一个脚本是解决这个问题的,好像叫 keep GPT 什么的,你可以找找。

Crestina2001 commented 2 weeks ago

多谢提醒,我试试keep GPT,看能不能解决403的问题。

目前我有办法解决降智的问题,4o就是传一张图片,o1首先用4o传图片,点击重新生成,在还没生成的时候迅速暂停,就可以切换到o1。

我主要好奇的是OpenAI降智的原理和规则是啥,他们针对的是哪些用户群体,并且采用何种方式进行检测。

------------------ 原始邮件 ------------------ 发件人: "KoriIku/chatgpt-degrade-checker" @.>; 发送时间: 2024年11月12日(星期二) 晚上6:11 @.>; @.**@.>; 主题: Re: [KoriIku/chatgpt-degrade-checker] 这个检测方法可能存在一定的遗漏 (Issue #4)

嗷嗷,那是我理解错了,抱歉。

我记得 403 是 cloudflare 拦截的表现,你描述的情况和你前面分享的 json 也能对上。由于你自己的账号要求了 turnstile,被拦截时就会 403,而共享账号完全没要求 turnstile,自然也就不会 403。

对你自己的账号,由于可以正常使用高算力的高级模型,有一定风控很正常。403的问题我记得有另一个脚本是解决这个问题的,好像叫 keep GPT 什么的,你可以找找。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Crestina2001 commented 2 weeks ago

使用keep GPT之后被降智了

------------------ 原始邮件 ------------------ 发件人: "KoriIku/chatgpt-degrade-checker" @.>; 发送时间: 2024年11月12日(星期二) 晚上6:11 @.>; @.**@.>; 主题: Re: [KoriIku/chatgpt-degrade-checker] 这个检测方法可能存在一定的遗漏 (Issue #4)

嗷嗷,那是我理解错了,抱歉。

我记得 403 是 cloudflare 拦截的表现,你描述的情况和你前面分享的 json 也能对上。由于你自己的账号要求了 turnstile,被拦截时就会 403,而共享账号完全没要求 turnstile,自然也就不会 403。

对你自己的账号,由于可以正常使用高算力的高级模型,有一定风控很正常。403的问题我记得有另一个脚本是解决这个问题的,好像叫 keep GPT 什么的,你可以找找。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>