search

ozhiwei / SmartProxyPool

高质量, 高灵活的IP代理池服务
MIT License
384 stars 111 forks source link

增加proxy/delete方法 #22

Open jasonlee529 opened 4 years ago

jasonlee529 commented 4 years ago

当使用方爬取失败时，可以手动通过api将proxy的quality置为-1，降低优先级。 不做物理删除。 Docker构建文件很慢，补了一个清华源

ozhiwei commented 4 years ago

棒棒的 总觉得哪里不太对哈.

接口定义的是删除操作, 但实际却是更新资源的操作. 你觉得呢..

jasonlee529 commented 4 years ago

嗯，可以更新下api名称： proxy/fallback 我先写了一个delete的版本，发现会大量删除代理，导致单个代理被封IP。之后就改成降低quality的方式了，会有一些代理失败，但不会导致IP被封。 过程中没有更新api名称

jasonlee529 commented 4 years ago

有个问题，我自己打包docker会出现 image 而且会影响代理自动爬取

ozhiwei commented 4 years ago

嗯，可以更新下api名称： proxy/fallback 我先写了一个delete的版本，发现会大量删除代理，导致单个代理被封IP。之后就改成降低quality的方式了，会有一些代理失败，但不会导致IP被封。 过程中没有更新api名称

可以提供一个delete的http method接口用来删除proxy 然后提供一个patch的http method接口用来修改proxy 这样会比较清晰, 没有歧义!

ozhiwei commented 4 years ago

有个问题，我自己打包docker会出现 image 而且会影响代理自动爬取

看看日志有报错了, 这种情况没遇到过.