是否有使用redis的计划？

[triangle959]

我试过这个框架，单机上确实不错，但是其他爬虫框架可以支持分布式。 我看了调度方法_process_async_callback也只是根据回调进行，是否有计划在这之前把任务放到redis中，这样可以方便分布式的运行爬虫。

[lixi5338619]

感谢您的建议，起初设计时是以单机实现最大性能为目的。 后续可以添加分布式调度，谢谢关注！