longxiaofei / spider-BaiduIndex

data sdk for baidu Index
MIT License
748 stars 229 forks source link

每次只能搜索五个关键词吗?能否扩充呢? #76

Closed xyy-711 closed 1 year ago

longxiaofei commented 1 year ago

可以参考以下代码, keywords_list可以为任意多个。

import time

from qdata.baidu_index import get_search_index
from qdata.baidu_index.common import split_keywords

keywords_list = [['张艺兴', '汪峰'], ['百度'], ['疫情', '杭州'], ['北京', '疫情'], ['猫粮'], ['流浪猫']]
cookies = """xxx"""

for keywords in split_keywords(keywords_list):
    for index in get_search_index(
        keywords_list=keywords,
        start_date='2018-01-01',
        end_date='2019-05-01',
        cookies=cookies
    ):
        print(index)
    time.sleep(15)
xyy-711 commented 1 year ago

我今天跑的时候,报错了:'ERROR-20002: 该账号请求过于频繁, 请降低请求频率' ,上次跑还是两周前

xyy-711 commented 1 year ago

发现换个账号就可以

longxiaofei commented 1 year ago

我今天跑的时候,报错了:'ERROR-20002: 该账号请求过于频繁, 请降低请求频率' ,上次跑还是两周前

我没办法解决,请确认一下这个账号的cookie确实没有一直在用,一般不会被BAN很久

xyy-711 commented 1 year ago

嗯嗯 还是关于keywords_list的问题,['a', 'b']这样写表示的意思是同时搜索a、b关键词吧,得到的指数是a、b指数之和,如果分开来还是有五个的限制?

longxiaofei commented 1 year ago

我不太清楚,五个关键词的限制是什么意思?

get_search_index最多只能传入5个关键词,这个是有限制的,但并不影响你获取100个关键词的数据

xyy-711 commented 1 year ago

我之前跑,输入超过5个它报错了,刚才试了一下发现可以了,感谢!

longxiaofei commented 1 year ago

输入五个以上确实会抛错。