issues
search
lesywix
/
douban_group_spy
豆瓣小组爬虫
98
stars
23
forks
source link
update crawler, fix #13, #17
#18
Closed
xwjdsh
closed
2 years ago
xwjdsh
commented
2 years ago
豆瓣更新了网页结构,导致有些元素获取不到报错,同步修改了。
修改了 User-Agent,豆瓣对原来的 baidu 爬虫做了些限制,获取数据会异常。
爬取帖子增加暂停时间,避免豆瓣的异常检查。
增加 Cookie 配置,可以由用户设置 Cookie,获取更多数据。