干掉各搜索引擎的爬虫 | 无二自留地

[yeahwu]

https://starts.sh/posts/nginx_search_bot.html

对于个人小站，经不起各大seo引擎搜索的蜘蛛一次又一次访问爬取，耗费站点流量先不谈，主要是这些爬虫像一堆苍蝇，把俺的站点当成了公共厕所，这就恶心了。点名头条家的爬虫，太尼玛不要脸了，俺站点的流量它家占了一大半。