zzwk commented 3 years ago

要增加/修改的功能/修复的bug

由于每次爬取steam市场数据占用时间过多，且steam市场暂未观察到任何反爬/封号策略，故建议使用异步爬取。适当控制连接数量即可。

改动内容描述

添加可选的异步爬取steam市场功能，默认最多同时5个链接，每次创建100个任务，出错一次时异步等待重试，出错两次时同步等待重试；注：未测试异步请求下proxy参数的功能，不具备测试条件…
同步爬取steam市场时，减小等待间隔；
输出时加上了相对于成本的折扣数值，更直观。

还有十几天考研了，没法花时间写changelog，见谅…

核验以下信息，已完成的项记得补全check box（中括号里填'x'）：

puppylpg commented 3 years ago

好的，等我有时间了看一下，辛苦了～目前buff反爬比较严重，应对思路可能就是尽量减少buff api爬取、延长爬取buff api的时间间隔，同时尽量把api的访问转移到steam上，适当提高steam的访问速度（比如并发访问）。

非常及时的一个pull request，如果没时间后续我可以试着帮测一下，或者小修小改。

最后预祝考研顺利，心想事成～

ccinv commented 3 years ago

没在python里写过异步等我学完再看哈哈

另外考研加油！

puppylpg commented 3 years ago

没在python里写过异步等我学完再看哈哈

另外考研加油！

好机会啊，看完这个，异步你就会了 :smiley_cat: :smiley_cat: :smiley_cat:

zzwk commented 3 years ago

哈哈哈，不瞒你们说，我也是对着文档现学现卖，零零散散改了一个星期才改好。网上异步的文档都质量参差不齐，好多都是过时的用法，最后对着英文文档才写出来的。

puppylpg commented 3 years ago

哈哈哈，不瞒你们说，整个oddish我都是对着python api敲出来的 :sweat_smile: 怕不怕

zzwk commented 3 years ago

修改了。顺手把一个warning也解决了，之前漏了个await。测试了proxy，应该没问题了。