search

Sniper970119 / dianping_spider

大众点评爬虫（全站可爬，解决动态字体加密，非OCR）。持续更新
GNU General Public License v3.0
889 stars 157 forks source link

请问前辈，cookie很快失效，用selenium会不会好点呢? #19

Closed ninghongbo123 closed 3 years ago

ninghongbo123 commented 3 years ago

anthor question: do you have review data? if so , i can contact you.

Sniper970119 commented 3 years ago

不会，cookie失效意味着你浏览器打开大众点评登录状态也不在。

ninghongbo123 commented 3 years ago

哦哦，谢谢回复。 我想问的是，用selenium是不是比request要好点呢？ 如果在请求网页的过程中，采用打乱顺序请求的方式，会不会比顺序请求的流量更不容易反爬呢？

Sniper970119 commented 3 years ago

1.selenium慢。而且selenium更容易被检测，而且从最终的请求结果来看，二者一样。而且大众点评（美团）的验证码机制也是json发送验证码链接，携带verify_id，验证通过后服务器对verify_id解除限制（而不是在页面中动态加载）。因此浏览器端并没有什么显著的优势。 2.恰恰相反。如果你有系统的看过我的文档，你就会知道很多时候要处理冷启动请求问题。乱序请求恰恰加剧了冷启动问题。