search

SpiderClub / haipproxy

:sparkling_heart: High available distributed ip proxy pool, powerd by Scrapy and Redis
https://spiderclub.github.io/haipproxy/
MIT License
5.44k stars 912 forks source link

Unhandled error in Deferred: #50

Closed lishanquan closed 6 years ago

lishanquan commented 6 years ago

版本配置：centos7，python3.5.2，Twisted-18.4.0 启动scrapy worker，包括代理IP采集器和校验器时，报Unhandled error in Deferred:，请问是什么问题？谢谢

ResolveWang commented 6 years ago

是否用的release? 日志logs文件夹中报的什么错？

lishanquan commented 6 years ago

当时日志报错：ImportError: No module named '_sqlite3'. 后来检查发现是安装sqlite3只对之前默认的python2起作用，对新安装的python3.5.2没有生效。 修复了这个问题，现在可以正常启动。

RancoGu commented 6 years ago

@DanielLeeeeee 同出现该问题，请问楼主如何解决的？

ResolveWang commented 6 years ago

@Ranco0929 你如果遇到的是

ImportError: No module named '_sqlite3'

那么直接google一下关键词 python3 ImportError: No module named '_sqlite3' 就行了，很多解决方法，大致方向就是在Ubuntu/CentOS上安装sqlite相关的lib

LunacyZeus commented 6 years ago

centos一键搭建python3.6 不谢 wget https://raw.githubusercontent.com/LunacyZeus/Python3.6-for-Centos7.0/master/install.sh && sh install.sh

lishanquan commented 6 years ago

@Ranco0929 我当时试了网上的很多方法，没有奏效，我最终重装了python3，然后修改了yum脚本的python依赖。参考这个进行配置：https://blog.csdn.net/hobohero/article/details/54381475。其实关键目的还是@ResolveWang 所说的一样，针对python3安装sqlite3的相关lib。只是我直接引入的时候多次尝试都没有成功，无奈之下选择重装。