-
windows系统。git那一步成功了,然后进入weibo-follow目录进行pip xxxx requirement.txt那一步,结果迟迟安不上去···求问这是咋回事(图的顺序可能不一定准,但可以涵盖所有信息)
![Q`B$2OLZS_8 VZ `0SBT9US](https://user-images.githubusercontent.com/71706454/93882477-d86…
SLX-A updated
2 years ago
-
文件已存在
开始自动登陆,若出现验证码手动验证
暂停20秒,用于验证码验证
判断页面1成功 0失败 结果是=1
Traceback (most recent call last):
File "D:/毕业论文/weibo-topic-spider-master/super-topic-spyder.py", line 268, in
spider(username,pa…
-
运行第一次的时候生成了一个结果文件;后来更换了关键词并重启了Spyder,重新运行scrapy之后只会把结果输出到前一个结果文件里
-
很奇怪的是,需要爬取同时包含多个关键词的微博,但是返回了一些只包含其中一个关键词的微博?就是按照作者您在readme中写的格式爬取的:
如果你想搜索同时包含多个关键词的微博,如同时包含“迪丽热巴”和“杨幂”微博的搜索结果:
KEYWORD_LIST = ['迪丽热巴 杨幂']
而且,还有个问题,就是我觉得微博是不是内部存在分词?比如因为我输入['迪丽热巴杨幂']这个关键词,仍然会返回包含“迪…
-
您好!您的爬虫爬取的是微博的“实时”内容,我想爬取“热门”内容。
但是研究了一下感觉那一部分是前端有关的代码,没有看懂,不知道怎么跳转到“热门”进行爬取。
希望您不吝赐教。
-
大大,感谢你的分享,你的分享对刚刚入门爬虫的我很有帮助,但是在应用你的框架时,遇到了一些问题,想跟您请教一下:
一、通过在关键词列表中设置[A,B,C]三个关键词,出现的相关问题有:
1.通过微博的高级搜索单独搜索A,,可以搜到大概50页的内容,但是通过运行Scrapy框架获得数据只有2条,对于这种数据结果不一致还有总数据量收到限制的情况可以怎么解决啊?
2.在爬取C关键词的结果里,获取了很…
-
2017-08-15 00:20:29 [scrapy] ERROR: Error downloading
Traceback (most recent call last):
File "/usr/local/lib/python2.7/dist-packages/scrapy/utils/defer.py", line 45, in mustbe_deferred
resu…
-
报错1
list index out of range
Traceback (most recent call last):
File "D:\demo\weibo-crawler\weibo.py", line 1075, in get_one_page
w = w.get("card_group",[0])[0] or w
IndexError: list index o…
-
- 问:请说明需要什么新功能。
答:https://github.com/gongpeione/wbimg2wb 不能反转一下,改成通过ID抓取图片链接吗?
- 问:请说明添加该功能的意义。(非必填)
答:图像链接未正确抓取。
-
您好,最近在爬虫的时候发现一个问题。
一些微博的原创emoji在download的时候会被自动删除
比如[笑cry],[酸],[二哈]
理论上download之后这些emoji应该会转换成上面的中文编码,但是实际上有很多emoji会被自动删掉。(个别emoji能保留下来,但是数量十分有限)
请问这个问题可以在哪里修改调整呢