code4craft / webmagic

A scalable web crawler framework for Java.
http://webmagic.io/
Apache License 2.0
11.38k stars 4.18k forks source link

Https绕过host检查 #1112

Closed Tanky-Zhang closed 1 year ago

Tanky-Zhang commented 1 year ago

经过线上验证发现,目前Https的绕过并不完全,因为包中默认使用了DefaultHostnameVerifier进行host验证,当然对于大部分网站是没有问题的,但是对于部分证书混乱的网站,这里可能会出现SSL的异常,所以这里我改成了不进行host验证,永远为true

Tanky-Zhang commented 1 year ago

@code4craft 你好,可以帮忙看下这次变更,是否可以合并到主干吗