search

k1995 / BaiduyunSpider

百度云网盘搜索引擎，包含爬虫 & 网站
1.15k stars 479 forks source link

爬虫做种的时候报错 #10

Open q1192589000 opened 6 years ago

q1192589000 commented 6 years ago

success to fetched hot users: 24 Traceback (most recent call last): File "spider.py", line 475, in spider.seedUsers() File "spider.py", line 328, in seedUsers self.db.commit() File "spider.py", line 101, in commit self.dbconn.commit() AttributeError: 'NoneType' object has no attribute 'commit'

请问有没有什么解决方法呢？ 操作系统是用的 Centos 7X64 Python版本是：2.7.5

saaak commented 5 years ago

seedhotuser里有段代码有问题

q1192589000 commented 5 years ago

现在估计也爬不了百度了

k1995 commented 5 years ago

新版本正在开发中，dev分支。旧版本因百度API失效了，爬虫不可用

q1192589000 commented 5 years ago

期待！！

JackyKen commented 5 years ago

现在新版本可用了吗

k1995 commented 5 years ago

可以

saaak commented 5 years ago

可以

现在只能手动添加地址，不能自动爬？

k1995 commented 5 years ago

emm.....开源版的目前是这样的

saaak commented 5 years ago

emm.....开源版的目前是这样的

还有闭源版的吗

saaak commented 5 years ago

emm.....开源版的目前是这样的

貌似百度把接口封了

k1995 commented 5 years ago

有闭源版的，现在功能不太稳定，数据较少。百度把接口封了，只能自己做全网URL发现或者手动提交URL。

saaak commented 5 years ago

有闭源版的，现在功能不太稳定，数据较少。百度把接口封了，只能自己做全网URL发现或者手动提交URL。

闭源版以后会开源吗

bytesniffer commented 5 years ago

全网url 发现，大概怎么弄，效率不高吧

wwmxs commented 1 year ago

1