使用模块2时，抓取多个问题时，多线程会出现问题

srx-2000 / spider_collection

python爬虫，目前库存：网易云音乐歌曲爬取，B站视频爬取，知乎问答爬取，壁纸爬取，xvideos视频爬取，有声书爬取，微博爬虫，安居客信息爬取+数据可视化，哔哩哔哩视频封面提取器，ip代理池封装，知乎百万级用户爬虫+数据分析，github用户爬虫

MIT License

1.22k stars 221 forks source link

Closed hodefor closed 2 years ago

hodefor commented 2 years ago

具体项目 【e.g. 知乎用户爬虫】

*bug描述抓取多个回答时，多线程，错误

bug复现步骤

报错信息 请贴出完整的报错信息

系统环境

其他其余相关描述或内容

srx-2000 commented 2 years ago

确实有问题，马上修复，主要原因是因为知乎对爬取速率进行了限制，现阶段多线程爬取的话只能做到1秒一个问题的爬取