longxiaofei / spider-BaiduIndex

data sdk for baidu Index
MIT License
748 stars 229 forks source link

关于 'ERROR-10003: 网络错误' 建议 #83

Closed DawudMa closed 1 year ago

DawudMa commented 1 year ago

该错误会在大规模任务中随机触发,具体的原因尚不清楚。 但可以肯定的是,并非爬虫频繁获取数据导致的。 当前任务的时间间隔在20s,大部分情况下运行稳定,出现该问题重启任务会正常获取到数据。 目前采取的策略是在请求部分增加一个3次重试的机制来解决。

longxiaofei commented 1 year ago

可以参考以下代码进行百度指数的获取 ./examples/baidu_index_best_practice.py

DawudMa commented 1 year ago

谢谢,根据抛出的报错显示'ERROR-20002: 该账号请求过于频繁, 请降低请求频率'。 经检验,如果同一 IP 不同的 cookie 轮换,间隔 20s,若干个小时后 IP 会被判定请求过多。