search

SpiderClub / haipproxy

:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis
https://spiderclub.github.io/haipproxy/
MIT License
5.43k stars 914 forks source link

队列分类问题 #87

Open ghost opened 5 years ago

ghost commented 5 years ago

请问为什么https里面存储的，都是http协议的呢？

ResolveWang commented 5 years ago

只要支持https协议的代理，就存储在对应队列，不一定是https开头的代理才支持https请求

ghost commented 5 years ago

感谢回答！我本来想只爬取free-proxy.cz这个网址的ip的，但是发现，rules.py直留这个配置文件时，redis里面只生成了haipproxy:schduler:task 和 haipproxy:spider:ajax_gfw两个对列，其他的全部没有生成。发现scrapy-splash也咩有配置错。请问这个是怎么回事呢？