lesywix / douban_group_spy

豆瓣小组爬虫
98 stars 23 forks source link

update crawler, fix #13, #17 #18

Closed xwjdsh closed 2 years ago

xwjdsh commented 2 years ago
  1. 豆瓣更新了网页结构,导致有些元素获取不到报错,同步修改了。
  2. 修改了 User-Agent,豆瓣对原来的 baidu 爬虫做了些限制,获取数据会异常。
  3. 爬取帖子增加暂停时间,避免豆瓣的异常检查。
  4. 增加 Cookie 配置,可以由用户设置 Cookie,获取更多数据。