search

lesywix / douban_group_spy

豆瓣小组爬虫
98 stars 23 forks source link

一些bug修改 #21

Closed chasergzy closed 2 years ago

chasergzy commented 2 years ago

修改点如下： 1、小组人数大于100w的数量处理，网页显示“100万+”，目前统一处理为1000000。 2、在页面爬取过程中，添加其他页面混淆，有助于提高爬虫稳定性。 3、爬取图片部分增加try/except，部分页面的爬取会有问题。

lesywix commented 2 years ago

赞 👍🏻，感谢贡献，已合并