Open dreamer2q opened 4 years ago
多线程爬经常被ban 此外,ssl返回错误的话,脚本就会崩溃, 脚本崩溃就得重爬, 重爬有不可能一次性爬完, 又得循环上述步骤
建议加入单线程,每爬一个连接休息n秒钟的功能
n
如果电子书内容带有 HTML 相关的< >标签,会导致html标签错乱,进而导致最后生成的pdf排版出现问题。
HTML
<
>
html
pdf
可以贴一下你要跑的 URL 么方便我重现问题修一下。
@fuergaosi233
https://astaxie.gitbooks.io/build-web-application-with-golang/zh/
多线程爬经常被ban 此外,ssl返回错误的话,脚本就会崩溃, 脚本崩溃就得重爬, 重爬有不可能一次性爬完, 又得循环上述步骤
建议加入单线程,每爬一个连接休息
n
秒钟的功能