search

Boris-code / feapder

🚀🚀🚀feapder is an easy to use, powerful crawler framework | feapder是一款上手简单，功能强大的Python爬虫框架。内置AirSpider、Spider、TaskSpider、BatchSpider四种爬虫解决不同场景的需求。且支持断点续爬、监控报警、浏览器渲染、海量数据去重等功能。更有功能强大的爬虫管理系统feaplat为其提供方便的部署及调度
http://feapder.com
Other
2.88k stars 476 forks source link

feapder v1.8.8 使用代理IP报错？ #236

Open suyin-long opened 1 year ago

suyin-long commented 1 year ago

需知

升级feapder，保证feapder是最新版，若BUG仍然存在，则详细描述问题

pip install --upgrade feapder

问题 升级 feapder v1.8.8 后在 setting.py 中配置代理后使用报错 截图 1

代码

# # 设置代理
PROXY_EXTRACT_API = 'http://api.proxy.ipidea.io/getProxyIp?num=10&xxxxx'  # 代理提取API ，返回的代理分割符为\r\n
PROXY_ENABLE = True
PROXY_MAX_FAILED_TIMES = 5  # 代理最大失败次数，超过则不使用，自动删除
PROXY_POOL = "feapder.network.proxy_pool.ProxyPool"  # 代理池
suyin-long commented 1 year ago

亲测，退回 feapder v1.8.6 后运行正常

# # 设置代理
PROXY_EXTRACT_API = 'http://api.proxy.ipidea.io/getProxyIp?num=10&xxxxx'  # 代理提取API ，返回的代理分割符为\r\n
PROXY_ENABLE = True
463563466 commented 1 year ago

我靠 这个问题困扰我一周了，原来是新版本有问题？？？