TurboWay / spiderman

基于 scrapy-redis 的通用分布式爬虫框架
MIT License
584 stars 128 forks source link

demo 运行没爬到东西 #35

Closed donneyluck closed 1 year ago

donneyluck commented 1 year ago

image

查过日志和代码
启动可以正常加入 redis start url

但是启动爬虫后 貌似没有执行 make_request_from_data 这个函数不会进 麻烦大佬拯救一下 于是乎 什么都没有爬到

另外 无论用不用虚拟环境 requirements.txt 安装环境都会报错

python 3.10
linux manjaro 执行命令 python SP_JOBS/zhifang_job.py

TurboWay commented 1 year ago

这个测试demo的目标网站改版了,所以没有解析到数据。回头我在更新下代码。

TurboWay commented 1 year ago

已修正 e0beefed67ad8408acf4cdb007b9b3beb6b61d8d

这个测试demo的目标网站改版了,所以没有解析到数据。回头我在更新下代码。

donneyluck commented 1 year ago

跑了最新的代码 目前没发现什么问题 感谢大佬解答