是为了实现分布式多任务吗？

TianLangStudio / DataXServer

为DataX(https://github.com/alibaba/DataX) 提供远程多语言调用（ThriftServer，HttpServer）分布式运行（DataX on YARN）功能

Apache License 2.0

144 stars 72 forks source link

是为了实现分布式多任务吗？ #2

Closed jwen6118 closed 5 years ago

jwen6118 commented 6 years ago

怎么实现的？没看明白

TianLangStudio commented 6 years ago

把DataX跑在Yarn上启一个与yarn通讯获取硬件资源的ApplicationMaster 并启动ThriftServer用于外部提交任务 ThriftServer接受到任务后会跟ApplicationMaster通讯获取必要的硬件资源用于启动DataX任务是为了1.实现资源的统一(yarn)调度提高资源利用率 2.实现分布式多任务提高任务并行性