cocofree / azkaban_assistant

azkaban小助手,增加任务web配置、远程脚本调用、报警扩展、跨项目依赖等功能。
Apache License 2.0
118 stars 50 forks source link

可配置成集群? #5

Open jet2007 opened 7 years ago

jet2007 commented 7 years ago

可以配置成集群?

web/executor/scheduler应该怎样配置呢?比如3台机器ABC;

cocofree commented 7 years ago

azkaban2.5不支持集群功能。不过由于assistant中所有任务都是远程脚本,本地只需要多少启动一个监控进程,压力不大。我们实际使用中几百个任务并发没有任何问题。

cocofree commented 7 years ago

都配置在一台机器中即可

jet2007 commented 7 years ago

几W个JOB呢?

cocofree commented 7 years ago

没有压测过,如果job过万的话推荐使用azkaban3.0的集群功能。两千并发以下可以考虑这种单节点的

jet2007 commented 7 years ago

有打算在3.0版本进行版本改造?

cocofree commented 7 years ago

暂时没有该计划,五一会对比下2.5与3.0的代码差异,如果修改量可以接受会发布一版基于3.0的工程

uchiha-obito commented 6 years ago

请问azkaban3.0版本后是不是就可以不用ssh了,azkaban原生用的jetty容器,又用了一个python的容器。为什么不用java开发呢?

uchiha-obito commented 6 years ago

对你的图形化依赖配置特别感兴趣,希望能在3.0有能有一个java版的

cocofree commented 6 years ago

因为二次开发时最新的版本就是2.5,使用Python是因为调试方便,有现成的页面模板。图形化是使用go js开发的,保存时读取依赖信息即可生成任务配置,目前没有精力重新开发,有兴趣的话可以自行实现java版~

发自网易邮箱 iPhone 版 在2017年07月23日 15:07,uchiha-obito 写道:

对你的图形化依赖配置特别感兴趣,希望能在3.0有能有一个java版的

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or mute the thread.