支持批量任务分布式执行

[baisui1981]

• 支持批量任务定时执行
• 利用PowerJob整合现有TIS分布式调度任务

97 has been referd

相关执行流程图

• 查看：https://www.processon.com/view/link/623429841efad407524d0fbe
• 编辑：https://www.processon.com/diagraming/6091089fe0b34d0ec9c9fb6e
• powerjob k8s 集群启动相关：view edit

[baisui1981]

powerJob相关

https://github.com/PowerJob/PowerJob

利用powerJob 实现DAG任务定义：https://github.com/PowerJob/PowerJob/blob/805046dccbb9dbeb6a59b0fe12a3fe9f1beb9ae7/powerjob-client/src/test/java/tech/powerjob/client/test/TestWorkflow.java

https://github.com/PowerJob/PowerJob/blob/805046dccbb9dbeb6a59b0fe12a3fe9f1beb9ae7/powerjob-client/src/test/java/tech/powerjob/client/test/TestWorkflow.java#L93-L103

        // DAG 图
        List<PEWorkflowDAG.Node> nodes = Lists.newLinkedList();
        List<PEWorkflowDAG.Edge> edges = Lists.newLinkedList();

        nodes.add(new PEWorkflowDAG.Node(nodeList.get(0).getId()));
        nodes.add(new PEWorkflowDAG.Node(nodeList.get(1).getId()));
        nodes.add(new PEWorkflowDAG.Node(nodeList.get(2).getId()));

        edges.add(new PEWorkflowDAG.Edge(nodeList.get(0).getId(), nodeList.get(1).getId()));
        edges.add(new PEWorkflowDAG.Edge(nodeList.get(1).getId(), nodeList.get(2).getId()));
        PEWorkflowDAG peWorkflowDAG = new PEWorkflowDAG(nodes, edges);

需要修改点

1. 现 DataXAction.launchDataXWorker() 启动 dataX 分布式执行需要的环境，入口：https://github.com/qlangtech/plugins/blob/2a36da841abb279ee0eec3054c1b3662e6bdccbf/tis-k8s-plugin/src/main/java/com/qlangtech/tis/plugin/datax/K8SDataXJobWorker.java
2. dataX任务在创建的时加一段脚本，需要直接将powerjob的workflow创建出来（更新时也需要去更新一下）
3. DataXAction.triggerFullbuildTask() 触发全量构建 需要加一段代码，判断workflow 是否存在？如果不存在需要让用户先填一个workflow的表单，再触发worflow任务执行