Closed WH-2099 closed 4 years ago
你好
我已经初步完成了改写 我进行的修改包括
.gitignore 增加了一些缓存目录的过滤 crawler.py 顶部声明增加Contributors 优化了requests库中session的用法 增加了AMAP数据爬取功能 直接爬取json文件,考虑到数据源更新频率低,限定半小时爬取一次 增加了AMAP数据解析能 模仿原风格,直接插入数据库 self.db.insert(collection='AMAPcity', data=cityInfo) self.db.insert(collection='AMAPpois', data=poisInfo) ↑↑↑注意:此处需要修正↑↑↑ 准确的做法应该是 插入更新数据库 因为每次插入的都是总数据(包含之前收录过的),且无时间戳 考虑到与原本数据留存模式的不同,请原作者处理
.gitignore
增加了一些缓存目录的过滤
crawler.py
顶部声明增加Contributors 优化了requests库中session的用法 增加了AMAP数据爬取功能 直接爬取json文件,考虑到数据源更新频率低,限定半小时爬取一次 增加了AMAP数据解析能 模仿原风格,直接插入数据库 self.db.insert(collection='AMAPcity', data=cityInfo) self.db.insert(collection='AMAPpois', data=poisInfo) ↑↑↑注意:此处需要修正↑↑↑ 准确的做法应该是 插入更新数据库 因为每次插入的都是总数据(包含之前收录过的),且无时间戳 考虑到与原本数据留存模式的不同,请原作者处理
顶部声明增加Contributors
优化了requests库中session的用法
增加了AMAP数据爬取功能 直接爬取json文件,考虑到数据源更新频率低,限定半小时爬取一次
增加了AMAP数据解析能 模仿原风格,直接插入数据库 self.db.insert(collection='AMAPcity', data=cityInfo) self.db.insert(collection='AMAPpois', data=poisInfo)
self.db.insert(collection='AMAPcity', data=cityInfo)
self.db.insert(collection='AMAPpois', data=poisInfo)
↑↑↑注意:此处需要修正↑↑↑ 准确的做法应该是 插入更新数据库 因为每次插入的都是总数据(包含之前收录过的),且无时间戳 考虑到与原本数据留存模式的不同,请原作者处理
准确的做法应该是 插入更新数据库 因为每次插入的都是总数据(包含之前收录过的),且无时间戳 考虑到与原本数据留存模式的不同,请原作者处理
在根据支付宝相关页面数据,对整体疫情地区信息做整合,暂时停止这个合并请求。
你好
88 关于issue中提到的增加新数据类型的建议
我已经初步完成了改写 我进行的修改包括