webmagic0.75,0.8.0 RedisScheduler无法使用

code4craft / webmagic

A scalable web crawler framework for Java.

http://webmagic.io/

Apache License 2.0

11.38k stars 4.18k forks source link

webmagic0.75,0.8.0 RedisScheduler无法使用 #1111

Open Bertluo opened 1 year ago

Bertluo commented 1 year ago

INFO [main] u.c.w.Spider.run(306): Spider e.dangdang.com started! INFO [main] u.c.w.Spider.run(338): Spider e.dangdang.com closed! 0 pages downloaded.

hooyantsing commented 1 year ago

请检查每次执行前 Spider 是否使用了相同的 UUID ？由于将链接去重交由 Redis 处理，因此已经爬取过的链接视为无效并跳过。若进一步解决你遇到的问题，请提供更多信息。