puppylpg / oddish

Crawl csgo skin info from `buff.163.com` and steam, then find the most suitable one to buy from the former and to sell to the latter.

https://puppylpg.github.io/2019/12/07/python-crawler-buff-optimaze/

GNU General Public License v3.0

323 stars 81 forks source link

Add check before get page data. #43

Closed puppylpg closed 3 years ago

puppylpg commented 3 years ago

要增加/修改的功能/修复的bug

爬取page时，获取数据（dict）之前要校验key的存在性。

相关issue

42

改动内容描述

bugfix
- 根据页数爬取数据时，增加数据结构校验，有可能爬取内容过多，饰品销售过快，一开始的页面数目已不存在；
功能
- 增加requirements.txt；
- readme增加关于使用uu加速器的doc；

功能为增补之前 @ccinv 之前的修改

核验信息

核验以下信息，已完成的项记得补全check box（中括号里填'x'）：

[x] 是否测试过功能正确性；
[x] 是否修改CHANGELOG，增加变动描述；
[x] 确认是否需要修改README；
[x] 新增代码是否有相应注释（或者代码是否清晰到足以不写注释）；

新代码效果截屏（建议）