neolee / pilot

进入编程世界的第一课
584 stars 840 forks source link

selenium如何爬取js现实的网页 #1533

Open Totie-O opened 2 months ago

Totie-O commented 2 months ago

李老师,我最近想用selenium模拟浏览器,登录淘宝千牛后台(我想下载自家公司的链接评论)

image

但是我在浏览器上面能定位到这个两个输入框,但是用python代码去模拟浏览器点击会报错,说定位不到这个元素

image

我猜原因可能是网页通过动态生成,但这种网页我以前没有遇到过,不知道怎么解决,李老师能不能给个指引啥的,谢谢

neolee commented 2 months ago

这类大厂的商业网站一般会有很多防抓取的设计,不容易搞定,可能要针对目标网站做尝试,可以先搜索下有没有人干过,比如

https://blog.csdn.net/qq_53953480/article/details/130606111

这个你有试过么?