请教怎样实现一个基于数据库的Scheduler？

code4craft / webmagic

A scalable web crawler framework for Java.

http://webmagic.io/

Apache License 2.0

11.37k stars 4.18k forks source link

Open Mr-LiuDC opened 11 months ago

Mr-LiuDC commented 11 months ago

这样方便我的URL管理并且保存更多关于URL的信息。

Farley-Chen commented 10 months ago

直接使用消息队列，或者redis的list能否满足你的要求呢？

Mr-LiuDC commented 6 months ago

现有的 Redis 队列是能用，我想要的基于数据库的，和抓取的信息一样持久化到关系型数据库。

zhhaojie commented 3 months ago

现有的 Redis 队列是能用，我想要的基于数据库的，和抓取的信息一样持久化到关系型数据库。

xxl-job