-
我这里尝试爬取人民日报的发过的历史微博,但是爬了几页之后就像这样,显示请求成功了但是没有数据,请问这是什么情况。
[图片]
-
https://mp.weixin.qq.com/s/o2v4MZkvB05Nz-9FveULDQ
-
报错如下:
DevTools listening on ws://127.0.0.1:5947/devtools/browser/311bbf3a-feea-4651-a9a7-137d6255c46e
文件已存在
开始自动登陆,若出现验证码手动验证
暂停20秒,用于验证码验证
判断页面1成功 0失败 结果是=1
Traceback (most recent call last):
…
-
报错:
selenium.common.exceptions.ElementClickInterceptedException: Message: element click intercepted: Element ... is not clickable at point (240, 643). Other element would receive the click: ...
(S…
-
我修改了一部分地方,但是还是出错了。您帮忙看看。
文件已存在
开始自动登陆,若出现验证码手动验证
暂停20秒,用于验证码验证
判断页面1成功 0失败 结果是=1
超话链接获取完毕,休眠2秒
Traceback (most recent call last):
File "F:/宝洁商赛/微博爬虫/weibo.py", line 187, in
spider(user…
-
我用的Python3.7版本,excelSave这个包貌似没法pip install,显示没有对应版本诶,而且网上也查不到这个包相关信息...想请教一下怎么解决呀?
-
博主,您好,我最近在看您的《Python3 网络爬虫开发实战》中的分布式爬虫章节,里面讲到了利用scrapy-redis 来实现分布式的爬虫。我有点疑惑的是,假设有5 个一模一样的爬虫运行在不同的机器上,在代码上看的化,每个爬虫其实都是从start_urls 开始的,既然这五个爬虫都是一样的,那启动起来之后这5个爬虫不是做了一模一样的事情吗,虽然redis 可以去重,但是这五个爬虫其实都是重复了向…
-
我在爬取用户粉丝和关注的时候,用的是search分支里面的weibo_spider(继承自RedisSpider)。碰到每天早上8:25自动关闭的情况,finish reason: shutdown,但是我没有设置过,也没有人为的关闭过,我看了一下源码,好像也没有找到哪里有类似的定时关闭设置。请问是什么情况,具体的信息如下(我这里图片好像一直没传上来):
![finishreason](http…
-
有个疑惑想请教一下您,就是如何只爬取用户某一年的全部微博, 比如说只爬取人民日报2019年发布的微博,我克隆您的代码运行的时候,我发现一开始是爬取2019年的微博,然后一段时间后突然就跳到了2012年,接着从2012年开始爬取,所以请问一下您,如果修改一下代码使得只爬取2019当年的一个数据?
-
It's related to #2905. When I'm using scrapy, I got the error "Failure instance: Traceback: : filedescriptor out of range in select()". So I want to try replacing the twisted reactor to pollreactor. H…