search

srx-2000 / spider_collection

python爬虫，目前库存：网易云音乐歌曲爬取，B站视频爬取，知乎问答爬取，壁纸爬取，xvideos视频爬取，有声书爬取，微博爬虫，安居客信息爬取+数据可视化，哔哩哔哩视频封面提取器，ip代理池封装，知乎百万级用户爬虫+数据分析，github用户爬虫
MIT License
1.22k stars 221 forks source link

目前代码还可用吗？ #2

Closed aanoway closed 3 years ago

aanoway commented 3 years ago

可以应付安居客目前的反爬封ip吗？

srx-2000 commented 3 years ago

嗯嗯，截止到2021.7.11还是可以使用的（需要自己替换一下cookie），但由于没有接入ip池，可能只能小范围的爬取

srx-2000 commented 3 years ago

现已在代码中添加了代理池，经测试已经完美封ip的问题了，代理池使用方法详见https://github.com/srx-2000/git_spider/tree/master/proxy_pool

aanoway commented 3 years ago

好的好的，谢谢！ 我学习一下

Jianzhang Zhao @.***

Signature is customized by Netease Mail Master

在2021年08月11日 17:09，備 写道：

现已在代码中添加了代理池，经测试已经完美封ip的问题了，代理池使用方法详见https://github.com/srx-2000/git_spider/tree/master/proxy_pool

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.