禁止各大搜索引擎的爬虫

netptop / siteproxy

reverse proxy, online proxy, 反向代理,免翻墙访问Youtube/twitter/Google, 支持github和telegram web登录(请注意不要通过不信任的代理进行登录)。支持DuckDuckGo AI Chat(可免费访问chatGPT3.5和Claude3)

MIT License

1.69k stars 944 forks source link

禁止各大搜索引擎的爬虫 #66

Closed Brx86 closed 1 year ago

Brx86 commented 1 year ago

部署到cloudflare workers时，经常被发邮件警告10万次额度不够用，一看分析，有来自US、RU、JP等的数十万次请求，大多是搜索引擎的爬虫。建议在请求/robots.txt的时候返回相应文本，禁止爬虫的递归请求。

alitrack commented 1 year ago

我在根目录下加了个文件robots.txt，内容如下

User-agent: *
Disallow: /

另外我把主页上不感兴趣的链接都删除了，只保留了搜索框，这样减少链接索引