wzdnzd / aggregator

One-stop Proxies Crawling and Aggregation Platform
https://github.com/wzdnzd/aggregator
Apache License 2.0
2.84k stars 3.44k forks source link
proxypool

功能

打造免费代理池,爬一切可爬节点

拥有灵活的插件系统,如果目标网站特殊,现有功能未能覆盖,可针对性地通过插件实现

欢迎 Star 及 PR。对于质量较高且普适的爬取目标,亦可在 Issues 中列出,将在评估后选择性添加

使用方法

略,自行探索。我才不会告诉你入口是 collect.pyprocess.py强烈建议使用后者,前者只是个小玩具,配置参考 subscribe/config/config.default.json

免责申明