写一个nodejs的爬虫框架

[axetroy]

初衷/目标

方便我爬取一些东西

• 访问频率限制
• Header 头信息校验
• 断点续爬
• 动态页面生成
• IP 地址限制
• Cookie 限制(或称为登录限制)
• 验证码限制
• 等等…

TODO类型

• [ ] 类库
• [x] 框架
• [ ] 服务
• [ ] 命令行工具

预计时间

• [ ] 一天
• [x] 一周
• [ ] 两周
• [ ] 一月
• [ ] 更久

相关链接

https://github.com/axetroy/crawler