longxiaofei / spider-BaiduIndex

data sdk for baidu Index
MIT License
748 stars 229 forks source link

无法获取百度指数 #57

Closed grandioserver closed 2 years ago

grandioserver commented 2 years ago

换了几个COOKIE,在不同电脑上,不同网络环境下,都无法获取到指数数据

longxiaofei commented 2 years ago

登录之后,浏览百度指数网页,然后再请求baidu.com,复制这个请求的cookie。

使用

from qdata.baidu_login import get_cookie_by_qr_login

if __name__ == "__main__":
    print(get_cookie_by_qr_login())
grandioserver commented 2 years ago

代码截图

按大佬说的方法获取了cookie,还行不行,前几周跑这个脚本都没啥问题,这周fail了好多

longxiaofei commented 2 years ago
  1. 安装qdata

    pip uninstall pycrypto  # 避免与pycryptodome冲突
    pip install --upgrade qdata
  2. 运行python3 examples/test_baidu_login.py, 获取cookie

  3. 将获取的cookie放到./examples/test_baidu_index.py里,运行python3 examples/test_baidu_index.py,观察是否输出正常

grandioserver commented 2 years ago
2\. python3 examples/test_baidu_index.py

输出结果异常

重新建了一个虚拟环境,只装了一个qdata,结果还是error

longxiaofei commented 2 years ago

确认一下这个账号是否可以正常访问百度指数网站?

cishengciyin commented 2 years ago

出现同样的问题

grandioserver commented 2 years ago

确认一下这个账号是否可以正常访问百度指数网站?

可以正常登录访问百度指数网站。

longxiaofei commented 2 years ago

确认一下这个账号是否可以正常访问百度指数网站?

可以正常登录访问百度指数网站。

如果不介意的话,可以将这个账号的cookie发送到我邮箱吗? libra.19951002@gmail.com

longxiaofei commented 2 years ago

出现同样的问题

我把你的回复删了哈,cookies信息太敏感了

cishengciyin commented 2 years ago

哈哈哈没事的

有什么办法可以解决吗 ------------------ 原始邮件 ------------------ 发件人: "longxiaofei/spider-BaiduIndex" @.>; 发送时间: 2021年9月15日(星期三) 晚上9:15 @.>; @.**@.>; 主题: Re: [longxiaofei/spider-BaiduIndex] 无法获取百度指数 (#57)

出现同样的问题

我把你的回复删了哈,cookies信息太敏感了

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

longxiaofei commented 2 years ago

停掉这些账号的现有抓取,一天后重新尝试抓取。

这些账号临时被BAN了。

grandioserver commented 2 years ago

把获取间隔调整为10-20s一次,可以稳定运行了。感谢大佬!