search

longxiaofei / spider-BaiduIndex

data sdk for baidu Index
MIT License
748 stars 230 forks source link

关于 'ERROR-10003: 网络错误' 建议 #83

Closed DawudMa closed 1 year ago

DawudMa commented 2 years ago

该错误会在大规模任务中随机触发，具体的原因尚不清楚。 但可以肯定的是，并非爬虫频繁获取数据导致的。 当前任务的时间间隔在20s，大部分情况下运行稳定，出现该问题重启任务会正常获取到数据。 目前采取的策略是在请求部分增加一个3次重试的机制来解决。

longxiaofei commented 2 years ago

可以参考以下代码进行百度指数的获取 ./examples/baidu_index_best_practice.py

DawudMa commented 2 years ago

谢谢，根据抛出的报错显示'ERROR-20002: 该账号请求过于频繁, 请降低请求频率'。 经检验，如果同一 IP 不同的 cookie 轮换，间隔 20s，若干个小时后 IP 会被判定请求过多。