关于爬虫代理ip

[kimjayson]

最近写爬虫经常遇到ip被封，于是爬了好多代理ip，但是代理ip可用性是个问题，超时、失效或者被封都要换ip，这块写起来很麻烦。我看PSpider里面没有这个模块，是通过别的方法绕过去了，还是暂时不需要呢，为什么我每次都遇到这个问题

[xianhu]

可以通过一些策略尽量避免，也可以自己加代理IP。这块是需要用户自己去考虑的，像requests这种库，可以很方便的加代理，所以代理IP并不在框架考虑范围内。