请教一下关于订阅是否会被爬虫爬到的问题

phlinhng / v2ray-tcp-tls-web

VLESS / Trojan-Go / Shadowsocks 脚本支持纯 IPv6

Do What The F*ck You Want To Public License

683 stars 328 forks source link

Closed LeiD215 closed 4 years ago

LeiD215 commented 4 years ago

请问脚本生成的放到网站目录下的订阅文件，是否会被爬虫爬到？

phlinhng commented 4 years ago

脚本会在网站根目录放置robots.txt，防止搜索引擎爬虫
网站目录结构不是公开的，爬虫需要知道档名才能爬，订阅文件的档名是16位随机英数字，用于防范大部分的 crawler 应该足够了（一般的爬虫应该不会没事乱爬随机档名）

LeiD215 commented 4 years ago

好的