search

SpiderClub / haipproxy

:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis
https://spiderclub.github.io/haipproxy/
MIT License
5.43k stars 914 forks source link

big changes #99

Closed searchlyf closed 5 years ago

liguobao commented 5 years ago

这里加入了新的代理池吗? 还是咋样的? 我能直接merge这边代码到自己的分支吗?

liguobao commented 5 years ago

合并之后暂时无法直接使用, Docker构建还会缺sentry_sdk package

liguobao commented 5 years ago

而且, 很麻烦的问题在于, 某个站点的校验现在应该怎么处理呢?

searchlyf commented 5 years ago

没加新的代理池。 crawler_booter.py 改为 run_spiders.py sentry_sdk 须自己设置 站点的校验只剩下httpbin 改动相当大，merge后会有很多break, 还没写完

liguobao commented 5 years ago

站点校验还能支持吗? 我看之前的配置使用run_spiders.py启动不了啦. 我倒是手动merge了很多代码到自己的分支已经解决了部分冲突. sentry_sdk 在requirements上加上个版本就完事了, 这个倒没什么问题.

searchlyf commented 5 years ago

原计划是只validate代理能不能接通 通过httpbin 具体网站在下载时实时调整即可 不过我可以把站点校验加回去

On Sat, Jul 6, 2019 at 7:47 PM 李国宝 notifications@github.com wrote:

站点校验还能支持吗? 我看之前的配置使用run_spiders.py启动不了啦. 我倒是手动merge了很多代码到自己的分支已经解决了部分冲突. sentry_sdk 在requirements上加上个版本就完事了, 这个倒没什么问题.

— You are receiving this because you modified the open/close state. Reply to this email directly, view it on GitHub https://github.com/SpiderClub/haipproxy/pull/99?email_source=notifications&email_token=AAE2ACGE3M77QUJQCWT3BYLP6FKNVA5CNFSM4H4OFY52YY3PNVWWK3TUL52HS4DFVREXG43VMVBW63LNMVXHJKTDN5WW2ZLOORPWSZGODZLDS6A#issuecomment-508967288, or mute the thread https://github.com/notifications/unsubscribe-auth/AAE2ACEAAXBF44NGNIVRTBLP6FKNVANCNFSM4H4OFY5Q .

liguobao commented 5 years ago

站点校验应该是需要的, 还有启动方式, 修一下run.sh?

searchlyf commented 5 years ago

https://github.com/searchlyf/haipproxy/commit/e147fa1fc494b9e6c48e123ce3c52db467260b9a 添加你的校验