search

SpiderClub / haipproxy

:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis
https://spiderclub.github.io/haipproxy/
MIT License
5.44k stars 912 forks source link

关于 GFW_PROXY 的困惑 #65

Closed zenof closed 6 years ago

zenof commented 6 years ago

找遍了文档和 Issues 还是不太理解设置里面 GFW_PROXY 这一项，当前是将 haipproxy 运行在境外的服务器上面。

看 rules.py 默认是启用所有的规则，请问那如果不去设置 GFW_PROXY 还能正常爬取 GFW 相关的 rules 吗？因为服务器本身在墙外，也没必要去配置 GFW_PROXY 了。

谢谢！

ResolveWang commented 6 years ago

你好，感谢反馈，文档疏忽了这种情况。如果是部署在境外，就可以不用gfw_proxy了，你需要简单修改一下源码

class GFWSpider(CommonSpider):
    name = 'gfw'
    # 这里将proxy_mode改为0，表示不走代理，同理 ajax_gfw_spider.py中也需要修改
    proxy_mode = 0   
    task_queue = SPIDER_GFW_TASK