Closed kimjayson closed 7 years ago
最近写爬虫经常遇到ip被封,于是爬了好多代理ip,但是代理ip可用性是个问题,超时、失效或者被封都要换ip,这块写起来很麻烦。我看PSpider里面没有这个模块,是通过别的方法绕过去了,还是暂时不需要呢,为什么我每次都遇到这个问题
可以通过一些策略尽量避免,也可以自己加代理IP。这块是需要用户自己去考虑的,像requests这种库,可以很方便的加代理,所以代理IP并不在框架考虑范围内。
最近写爬虫经常遇到ip被封,于是爬了好多代理ip,但是代理ip可用性是个问题,超时、失效或者被封都要换ip,这块写起来很麻烦。我看PSpider里面没有这个模块,是通过别的方法绕过去了,还是暂时不需要呢,为什么我每次都遇到这个问题