Open zvrr opened 5 years ago
到这里,其实想说的azkaban_assistant这个项目还是不成熟的,任务平台化配置管理这部分方向没有问题,但是使用远程命令来控制任务,对于小公司来说是够用的,但是如果任务数多了,会有以下隐患: 1、管理远程脚本的服务器压力过大 2、实际执行机的并发无法管理 3、远程任务的状态管理有限 以上问题在调度平台做深入了之后,都会是瓶颈。 建议worker机器的任务也是由系统直接管理(各种状态的任务队列),包括封装各类工具化插件、worker机并管理等,实现真正意义上的分布式调度系统
目前我们在自己做一个数据平台的调度系统,对于一天任务量在几千个的系统来说,azkaban配置太麻烦了,感谢你开源了azkaban_assistant(https://github.com/cocofree/azkaban_assistant),有几个疑问像你请教下,谢谢。
1、azkaban都是用project来管理项目的,那我们az助手是如何通过任务交给az来调度的? 2、az助手的任务和project是什么关系? 3、远程执行脚本是如何和实现az的集群模式,在多个exec执行器间调度?