Feature Request: robots.txt 禁止所有搜索引擎

netptop / siteproxy

reverse proxy, online proxy, 反向代理,免翻墙访问Youtube/twitter/Google, 支持github和telegram web登录(请注意不要通过不信任的代理进行登录)。支持DuckDuckGo AI Chat(可免费访问chatGPT3.5和Claude3)

MIT License

1.67k stars 939 forks source link

Feature Request: robots.txt 禁止所有搜索引擎 #102

Open SunsetMkt opened 1 week ago

SunsetMkt commented 1 week ago

现在的配置是

User-agent: *
Allow: /
Disallow: /app*.js

netptop commented 1 week ago

有道理。但是你说的这个robots.txt我并没有提供啊，从哪里找来的robots.txt?