BlankerL / DXY-COVID-19-Crawler

2019新型冠状病毒疫情实时爬虫及API | COVID-19/2019-nCoV Realtime Infection Crawler and API
https://lab.isaaclin.cn/nCoV/
MIT License
1.99k stars 400 forks source link

add AMAP city/pois #89

Closed WH-2099 closed 4 years ago

WH-2099 commented 4 years ago

你好

88 关于issue中提到的增加新数据类型的建议

我已经初步完成了改写 我进行的修改包括

.gitignore

增加了一些缓存目录的过滤

crawler.py

  • 顶部声明增加Contributors

  • 优化了requests库中session的用法

  • 增加了AMAP数据爬取功能 直接爬取json文件,考虑到数据源更新频率低,限定半小时爬取一次

  • 增加了AMAP数据解析能 模仿原风格,直接插入数据库 self.db.insert(collection='AMAPcity', data=cityInfo) self.db.insert(collection='AMAPpois', data=poisInfo)

    ↑↑↑注意:此处需要修正↑↑↑

    准确的做法应该是 插入更新数据库 因为每次插入的都是总数据(包含之前收录过的),且无时间戳 考虑到与原本数据留存模式的不同,请原作者处理

WH-2099 commented 4 years ago

在根据支付宝相关页面数据,对整体疫情地区信息做整合,暂时停止这个合并请求。