red-spider

:spider:

TODO

• 去除

• 模块化

• 实现URL分发器

  • 发现URL交由分发器分发到不同队列

• 重写 downloader，失败要归还到爬取队列

• 失败监听，记录失败URL，告警