Feature Request: robots.txt 禁止所有搜索引擎

netptop / siteproxy

reverse proxy, online proxy, 反向代理,免翻墙访问Youtube/twitter/Google, 支持github和telegram web登录(请注意不要通过不信任的代理进行登录)。支持DuckDuckGo AI Chat(可免费访问chatGPT3.5和Claude3)

MIT License

2.09k stars 1.08k forks source link

Feature Request: robots.txt 禁止所有搜索引擎 #102

Closed SunsetMkt closed 4 months ago

SunsetMkt commented 5 months ago

现在的配置是

User-agent: *
Allow: /
Disallow: /app*.js

netptop commented 5 months ago

有道理。但是你说的这个robots.txt我并没有提供啊，从哪里找来的robots.txt?