search

Aqua-Dream / Tieba_Spider

百度贴吧爬虫(基于scrapy和mysql)
404 stars 116 forks source link

抓取数据量比较大的贴吧时，抓取到36页的时候，报错了 #44

Closed zhoululu closed 2 years ago

zhoululu commented 2 years ago

看起来像是抓取数据过多，需要通过验证码验证。求助大佬

Aqua-Dream commented 2 years ago

ip进黑名单了，这种情况只能换个ip，下次爬的时候设置下延迟