longxiaofei / spider-BaiduIndex

data sdk for baidu Index
MIT License
749 stars 229 forks source link

大佬我又来了,我想调用同时爬取所有省份的数据时出现了问题 #14

Closed huangzhaor closed 4 years ago

huangzhaor commented 4 years ago

我把demo的代码改了一下。写了一个循环,以便爬完一个省份爬下一个。尴尬的是我发现当它运行到第17个循环的时候出现了bug,即result_data只能出现一个1×1数字,按道理来说数组的应该会出现我设置的天数那么长。我一开始以为是省份的问题,但我单独去爬取918号省份的时候是正常的。我不知道这是因为我连续爬了16个省份被百度发现了吗,但是每次我都是运行到第17个循环出错,想请教一下longxiaofei老师这个是怎么回事。

———————————— from get_index import BaiduIndex import numpy as np import pandas as pd if name == "main": keywords = ['天使投资'] result = [] times = 36 for i in range(times): area_index = str(901+i) baidu_index = BaiduIndex(keywords, '2019-1-02', '2019-1-07',area_index) result_data = [] c=baidu_index.get_index() for index in c: if index['type'] == 'all': np.array(result_data.append(index.get('index'))) if i == 0: result=result_data else: result= np.vstack((result,result_data)) df = pd.DataFrame(result) df.to_csv("天使投资.csv",encoding='utf_8_sig')

longxiaofei commented 4 years ago

请将你的代码这样展示,要不然我很难读懂你代码竟然做了些什么。

from get_index import BaiduIndex
import numpy as np
import pandas as pd

if __name__ == "__main__":
    pass
huangzhaor commented 4 years ago

为什么我复制代码的时候有空格。。。但是comment之后,空格消失了

huangzhaor commented 4 years ago

新建 Microsoft Word 文档.docx 我不知道缩进为啥一评论就消失,于是我上传了个word,应该没问题吧

longxiaofei commented 4 years ago

百度指数的接口,如果连续几天都为0,数组返回为空。明天我将这个bug改一下。

huangzhaor commented 4 years ago

嗯嗯谢谢

longxiaofei commented 4 years ago

bug已经修复了。