Rongronggg9 / RSS-to-Telegram-Bot

A Telegram RSS bot that cares about your reading experience
https://t.me/RSStT_Bot
GNU Affero General Public License v3.0
1.55k stars 276 forks source link

Cloudflare的“阻止 AI 自动程序”功能会影响RSStT抓取内容 #566

Open DeepChirp opened 4 weeks ago

DeepChirp commented 4 weeks ago

据OpenRSS的报道(https://openrss.org/blog/using-cloudflare-on-your-website-could-be-blocking-rss-users),Cloudflare的“阻止 AI 自动程序”功能会影响RSS的抓取。经过测试,该功能同样会影响RSStT抓取内容。

官方提供了Google form,让RSS阅读器的所有者可以避免阅读器被网站阻止(已验证的自动程序列表:https://radar.cloudflare.com/traffic/verified-bots)。不过OpenRSS称该过程“很脆弱”,且经过验证后仍可能被阻止。

仓库的所有者或许可以尝试填写该表格。对于站长而言,临时的解决方案是关闭此功能,或是设置自定义规则以允许RSS机器人的访问。

RSStT被访问规则阻止

Rongronggg9 commented 3 weeks ago

仓库的所有者或许可以尝试填写该表格。

没有意义。这个表单需要公司名、User-Agent 和 IP 地址列表(或 rDNS、ASN),而不仅仅是 User-Agent,这是针对由企业实体控制的中心化爬虫而设计的。即使表单能够通过,也仅仅对于某个特定的 RSStT 实例有效,对其余实例没有影响。

对于站长而言,临时的解决方案是关闭此功能,或是设置自定义规则以允许RSS机器人的访问。

很遗憾,这应该是唯一可行的解决方案而不是临时解决方案。