longxiaofei / spider-BaiduIndex

data sdk for baidu Index
MIT License
749 stars 229 forks source link

分类选项 #4

Closed xfy447 closed 5 years ago

xfy447 commented 5 years ago

百度指数有一个分类:PC+移动,PC,移动 这个可以添加吗?

longxiaofei commented 5 years ago

百度指数有一个分类:PC+移动,PC,移动 这个可以添加吗?

有时间会更新。

xfy447 commented 5 years ago

def adjust_type_range(Type): time.sleep(1) browser.find_elements_by_xpath('//div[@class="index-dropdown-list"]')[1].click() base_node = browser.find_elements_by_xpath('//div[@class="list-wrapper"]')[1] data = base_node.find_element_by_xpath('./div['+ str(Type) +']').text base_node.find_element_by_xpath('./div['+ str(Type) +']').click() time.sleep(1) return data

我自己写了这个方法获取,然后在循环获取数据之前加了一层循环点击,可以获取到不同类别的数据,但是我在测试过程中发现,获取到的数据中间和结尾部分不法正常得到(我用时间为10-30到11-5,2号和5号没有数据),请问这是什么情况?

longxiaofei commented 5 years ago

index-dropdown-list

def adjust_type_range(Type): time.sleep(1) browser.find_elements_by_xpath('//div[@Class="index-dropdown-list"]')[1].click() base_node = browser.find_elements_by_xpath('//div[@Class="list-wrapper"]')[1] data = base_node.find_element_by_xpath('./div['+ str(Type) +']').text base_node.find_element_by_xpath('./div['+ str(Type) +']').click() time.sleep(1) return data

我自己写了这个方法获取,然后在循环获取数据之前加了一层循环点击,可以获取到不同类别的数据,但是我在测试过程中发现,获取到的数据中间和结尾部分不法正常得到(我用时间为10-30到11-5,2号和5号没有数据),请问这是什么情况?

计算时间范围的方法有问题,一会改一下

longxiaofei commented 5 years ago

百度指数有一个分类:PC+移动,PC,移动 这个可以添加吗?

loop_move

def adjust_type_range(Type): time.sleep(1) browser.find_elements_by_xpath('//div[@Class="index-dropdown-list"]')[1].click() base_node = browser.find_elements_by_xpath('//div[@Class="list-wrapper"]')[1] data = base_node.find_element_by_xpath('./div['+ str(Type) +']').text base_node.find_element_by_xpath('./div['+ str(Type) +']').click() time.sleep(1) return data

我自己写了这个方法获取,然后在循环获取数据之前加了一层循环点击,可以获取到不同类别的数据,但是我在测试过程中发现,获取到的数据中间和结尾部分不法正常得到(我用时间为10-30到11-5,2号和5号没有数据),请问这是什么情况?

主要修改了loop_move和get_time_range_list两个方法