puppylpg / oddish

Crawl csgo skin info from `buff.163.com` and steam, then find the most suitable one to buy from the former and to sell to the latter.
https://puppylpg.github.io/2019/12/07/python-crawler-buff-optimaze/
GNU General Public License v3.0
321 stars 80 forks source link

Use aiohttp-socks to request steam by ways of socks. #66

Closed puppylpg closed 3 years ago

puppylpg commented 3 years ago

要增加/修改的功能/修复的bug

aio请求steam,windows下开启代理,测试有问题:raise ValueError("Only http proxies are supported")

查了一下,使用python aiohttp开启代理时,使用aiohttp-socks比较好:

所以使用了新的代理实现方式。

测试时发现一个新问题

和 #57 类似,由于我没法直连steam,所以没有测试不开proxy直接跑代码的模式。具体代码参考history_price_crawler.py53-57行改动。应该没什么问题,但最好麻烦 @zwwskm 帮忙测一下。

相关issue

57

改动内容描述

核验信息

核验以下信息,已完成的项记得补全check box(中括号里填'x'):

新代码效果截屏(建议)

puppylpg commented 3 years ago

先合了,不然 v4.0.0-alpha 没法用。

后续有问题的话,再进行bug fix。至少我本地测试没什么问题了。

zzwk commented 3 years ago

哎哟,我最近找了个实习,忙忘了。cache的问题我也发现了,其实是session建立太早,读本地数据一直不发请求session容易超时,默认超时时间只有五分钟,我自己代码里改过了,等我有空把你新改的代码也合并一下修一下

puppylpg commented 3 years ago

哎哟,我最近找了个实习,忙忘了。cache的问题我也发现了,其实是session建立太早,读本地数据一直不发请求session容易超时,默认超时时间只有五分钟,我自己代码里改过了,等我有空把你新改的代码也合并一下修一下

☺不是考自闭了就行,哈哈哈

puppylpg commented 3 years ago

哎哟,我最近找了个实习,忙忘了。cache的问题我也发现了,其实是session建立太早,读本地数据一直不发请求session容易超时,默认超时时间只有五分钟,我自己代码里改过了,等我有空把你新改的代码也合并一下修一下

但是读cache也读不了5min啊,基本一两秒就完事儿了,session为什么会超时呢

zzwk commented 3 years ago

额,这我也不清楚…我把我改了超时时间的代码提交到pull request里了,我按你说的复现方法测试了一下,没出问题,你要不试试?