Open Mr-LiuDC opened 11 months ago
例如我在爬取网站时触发了网站的防护机制,当我判断出网站有进行防护时,我该怎样控制爬虫让它过一段时间再抓取?
在processor中有个site变量,里面有控制抓取间隔、重试次数
这是全局的配置,没法对某次的请求进行设置。
你是怎样判断出网站有进行防护的?
例如我在爬取网站时触发了网站的防护机制,当我判断出网站有进行防护时,我该怎样控制爬虫让它过一段时间再抓取?