🎉Life is fantastic🥳!~

"Did you know all your doors were locked?" - Riddick (The Chronicles of Riddick)

传送门

• [x] 4G 代理
• [x] 异常处理回调，直接 hook 所有函数，和类 给个 🌟 再走吧...

💕Website login model

一些爬虫示例程序，以及模拟登陆程序,模拟登陆基于 selenium，有些模拟登录基于 js 逆向，持续更新，有问题可以直接提交 Issues，欢迎提交 PR, 测试通过可以直接 merge，文中所有程序都是使用 python3 编写 :-)

About

模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式，有的网站直接登录难度很大，比如qq空间，bilibili等如果采用selenium就相对轻松一些。

虽然在登录的时候采用的是selenium,为了效率，我们可以在登录过后得到的cookie维护起来，然后调用requests或者scrapy等进行数据采集，这样数据采集的速度可以得到保证。

WebDriver

Chrome FireFox

Completed

• [x] 虾米音乐
• [x] Facebook
• [x] 微博网页版
• [x] 知乎
• [x] QQZone
• [x] CSDN
• [x] 淘宝-接口修复完成-可用
• [x] CSDN--已重构
• [x] Baidu
• [x] 果壳
• [x] JingDong 模拟登录和自动申请京东试用
• [x] 163mail
• [x] 拉钩
• [x] Bilibili
• [x] 豆瓣
• [x] 豆瓣spider
• [x] Baidu
• [x] 猎聘网
• [x] 微信网页版登录并获取好友列表
• [x] Github
• [x] 爬取图虫相应的图片
• [x] 网易云音乐
• [x] 糗事百科--改为协程版
• [x] 百度贴吧spider
• [x] 百度翻译

catalogue

• [x] 虾米音乐
• [x] Facebook模拟登录
• [x] 微博网页版模拟登录
• [x] QQZone模拟登录
• [x] CSDN模拟登录--已恢复
• [x] 淘宝爬虫--重构中
• [x] Baidu模拟登录一
• [x] 果壳爬虫程序
• [x] JingDong 模拟登录和自动申请京东试用
• [x] 163mail--已恢复
• [x] 拉钩模拟登录--已失效
• [x] Bilibili模拟登录
• [x] 豆瓣
• [x] Baidu2模拟登录
• [x] 猎聘网模拟登录
• [x] 微信网页版登录并获取好友列表
• [x] Github模拟登录两种解决方案都可行
• [x] 爬取图虫想要的图片
• [x] 网易云音乐downloader
• [x] 糗事百科爬虫
• [x] 淘宝登陆-访问

Test

Please touch here to view test images

Informations

• 为感谢你们的支持，准备写一套免费爬虫的教程，保证你学会以后可以爬取市面上大部分的网站，教程地址

tips of pull request

• 欢迎大家一起来 pull request 💗

Problems

• 关于验证码：本项目所用的方法都没有处理验证码，识别复杂验证码的难度就目前来说，还是比较大的。以我的心得来说，做爬虫最好的方式就是尽量规避验证码。
• 代码失效：由于网站策略或者样式改变，导致代码失效，请给我提issue，如果你已经解决，可以提PR，谢谢！
• 正在对部分代码进行优化。。。
• 如果该repo对大家有帮助，记得 star 哦。

Acknowledgments

@deepforce | @cclauss | ksoeasyxiaosi | JasonJunJun | MediocrityXT

• 感谢以上开发者的支持和贡献。

联系我

• 欢迎反馈！
• Email : criselyj@163.com

注意：

• 本项目仅用于学习和交流

  欢迎任何人参与和完善：一个人可以走的很快，但是一群人却可以走的更远