search

python3xxx / weibo_spider

爬取微博内评论，获取评论内容和图片信息
295 stars 109 forks source link

A bug #1

Open liuwenhaha opened 5 years ago

liuwenhaha commented 5 years ago

weibo_comment.py的104行 max_id_json = html.xpath('//div[@node-type="comment_loading"]/@action-data')[0] 在爬到第21页时报错：IndexError: list index out of range

python3xxx commented 5 years ago

这个时候响应码应该是414。 频繁访问ip被微博限制了。调整请求间隔或者增加代理

liuwenhaha commented 5 years ago

这个时候响应码应该是414。 频繁访问ip被微博限制了。调整请求间隔或者增加代理

好嗒，谢谢

xuzifan-github commented 5 years ago

爬到第21页遇到同样的报错，用了代理ip还是不行

guang1986 commented 4 years ago

json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

运行到91行：resp = json.loads(resp.text) 出现上面这个错误，怎么解决啊？

chenchen0324 commented 4 years ago

json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)

运行到91行：resp = json.loads(resp.text) 出现上面这个错误，怎么解决啊？

请问解决了嘛

arrogant-create commented 4 years ago

该程序要如何运行