search

NaiboWang / EasySpider

A visual no-code/code-free web crawler/spider易采集：一个可视化浏览器自动化测试/数据采集/爬虫软件，可以无代码图形化的设计和执行爬虫任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。
https://www.easyspider.net
Other
30.37k stars 3.58k forks source link

我输入的网址是http,任务采集的时候会自动使用https #377

Closed jerryxjh closed 2 months ago

jerryxjh commented 2 months ago

我输入的网址是http,任务采集的时候会自动使用https,导致任务失败

NaiboWang commented 2 months ago

问题发生原因：120之后版本的浏览器会自动设置http强制跳转https策略，很难直接调整。 解决方案：Windows平台下载x32版本的EasySpider使用，其他版本请自行更换浏览器和webdriver版本至119版本以下，或使用0.5.0版本的EasySpider。

image

zhouwenjun0820 commented 2 months ago

试运行时http没有强制跳转https，但是真正执行时却强跳，这是为什么呢？ 实际上，直接打开EasySpider内置的谷歌浏览器访问也没有强跳 链接比如：http://www.donghua-ml.com/index.php?m=content&c=index&a=lists&catid=10 谢谢

NaiboWang commented 2 months ago

我理解这个问题，这是webdriver根据浏览器版本自动控制的，我也没有办法处理，直接按照我上面的操作来就行了。

Skura3 commented 1 week ago

还有一种办法就是在设计时，在打开网页那里设置一个等待时间，在弹出网页的时候进行手动校正