Hyhyhyhyhyhyh
commented
4 years ago 爬取人口数据
观察接口
观察接口及返回值发现：
- 点击左侧的不同目录，
dfwds随之改变参数，因此我们填写正确的dfwds参数就能获取到接口数据 - 在前端操作需要点击选择左侧目录，再选择右侧数据的时间段，这两步调用的接口都是同一个接口，仅是请求参数不一样；且必须先请求对应目录，再请求对应数据，尝试把这两步的请求参数合并到一起
- 前端选项只能选“最近二十年”数据，其请求参数为LAST20，试试把它改成LAST70尝试获取1949年以来的全部数据
- 从上图2中可以看到，不同数据项（行）是以编号区分，比如
总人口数对应编号A030101，而其他数据项则是A03010Ximport requests import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import os
http://data.stats.gov.cn/easyquery.htm?cn=C01
爬取人口数据
总人口
url = 'http://data.stats.gov.cn/easyquery.htm?m=QueryData&dbcode=hgnd&rowcode=zb&colcode=sj&wds=[]&dfwds=[{"wdcode":"zb","valuecode":"A0301"}, {"wdcode":"sj","valuecode":"LAST70"}]&k1=1581078799246' response = requests.get(url) res = response.json() population = res['returndata']['datanodes']
出生率、死亡率、自然增长率
url2 = 'http://data.stats.gov.cn/easyquery.htm?m=QueryData&dbcode=hgnd&rowcode=zb&colcode=sj&wds=[]&dfwds=[{"wdcode":"zb","valuecode":"A0302"}, {"wdcode":"sj","valuecode":"LAST70"}]&k1=1581079751047' response = requests.get(url2) res = response.json() rate = res['returndata']['datanodes']
人口结构
url3 = 'http://data.stats.gov.cn/easyquery.htm?m=QueryData&dbcode=hgnd&rowcode=zb&colcode=sj&wds=[]&dfwds=[{"wdcode":"zb","valuecode":"A0303"}, {"wdcode":"sj","valuecode":"LAST70"}]&k1=1581079906591' response = requests.get(url3) res = response.json() structure = res['returndata']['datanodes']
## 处理接口返回的数据
```python
# 将数据保存到excel中
# 观察接口数据
# data.data列数据
# wds.valuecode[0]=A030101，A030102来区分前端的每一行数据
# wds.valuecode[1]年
def get_data(res):
res_dict = {
'year': [],
'line': [],
'data': []
}
for i in res:
res_dict['year'].append(i['wds'][1]['valuecode'])
res_dict['line'].append(i['wds'][0]['valuecode'])
res_dict['data'].append(i['data']['data'])
return res_dict
p = pd.DataFrame(get_data(population))
r = pd.DataFrame(get_data(rate))
s = pd.DataFrame(get_data(structure))
p = pd.concat([
p[p.line == 'A030101'][['year', 'data']],
p[p.line == 'A030102'].reset_index()['data'],
p[p.line == 'A030103'].reset_index()['data'],
p[p.line == 'A030104'].reset_index()['data'],
p[p.line == 'A030105'].reset_index()['data'],
],
axis=1,
ignore_index=True,
)
p.rename(columns={
0: 'year',
1: '年末总人口(万人)',
2: '男性人口(万人)',
3: '女性人口(万人)',
4: '城镇人口(万人)',
5: '乡村人口(万人)'
}, inplace=True)
p.set_index('year', drop=True, inplace=True)
r = pd.concat([
r[r.line == 'A030201'][['year', 'data']],
r[r.line == 'A030202'].reset_index()['data'],
r[r.line == 'A030203'].reset_index()['data'],
],
axis=1,
ignore_index=True,
)
r.rename(columns={
0: 'year',
1: '人口出生率(‰)',
2: '人口死亡率(‰)',
3: '人口自然增长率(‰)'
}, inplace=True)
r.set_index('year', drop=True, inplace=True)
s = pd.concat([
s[s.line == 'A030301'][['year', 'data']],
s[s.line == 'A030302'].reset_index()['data'],
s[s.line == 'A030303'].reset_index()['data'],
s[s.line == 'A030304'].reset_index()['data'],
s[s.line == 'A030305'].reset_index()['data'],
s[s.line == 'A030306'].reset_index()['data'],
s[s.line == 'A030307'].reset_index()['data'],
],
axis=1,
ignore_index=True,
)
s.rename(columns={
0: 'year',
1: '年末总人口(万人)',
2: '0-14岁人口(万人)',
3: '15-64岁人口(万人)',
4: '65岁及以上人口(万人)',
5: '总抚养比(%)',
6: '少儿抚养比(%)',
7: '老年抚养比(%)',
}, inplace=True)
s.set_index('year', drop=True, inplace=True)
people = pd.concat([p, r, s], axis=1)- 到这里已经对人口数据获取和处理完毕了，但是数据未录入2019年的数据，因此根据报告手工计算2019年的人口数据（http://www.stats.gov.cn/tjsj/zxfb/202001/t20200117_1723383.html）
- 总抚养比 = 非劳动年龄人口数 / 劳动年龄人口数
- 少儿抚养比 = 少儿人口数 / 劳动年龄人口数
- 老年抚养比 = 老年人口数 / 劳动年龄人口数
data_2019 = pd.DataFrame({'2019': [140005, 71527, 68478, 84843, 55162, 10.48, 7.14, 3.34, 140005, 32762, 89640, 17603, (32762+17603)/89640*100, 32762/89640*100, 17603/89640*100]}).T data_2019.rename(columns={ 0: '年末总人口(万人)', 1: '男性人口(万人)', 2: '女性人口(万人)', 3: '城镇人口(万人)', 4: '乡村人口(万人)', 5: '人口出生率(‰)', 6: '人口死亡率(‰)', 7: '人口自然增长率(‰)', 8: '年末总人口(万人)', 9: '0-14岁人口(万人)', 10: '15-64岁人口(万人)', 11: '65岁及以上人口(万人)', 12: '总抚养比(%)', 13: '少儿抚养比(%)', 14: '老年抚养比(%)', }, inplace=True)
people = pd.concat([people, data_2019], axis=0) people.sort_index(ascending=False, inplace=True) people['year'] = people['year'].astype(int)
将合并的人口数据保存到Excel
writer = pd.ExcelWriter(path='./population.xlsx') people.to_excel(writer, sheet_name='中国70年人口数据', index=True) writer.save() writer.close()
## 处理后的Excel如下
[population.xlsx](https://github.com/Hyhyhyhyhyhyh/data-analysis/files/4176801/population.xlsx)
注