datavane / tis

Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI
https://tis.pub
Apache License 2.0
1.04k stars 221 forks source link

批量数据同步设置任务触发参数 #347

Closed baisui1981 closed 2 months ago

baisui1981 commented 3 months ago

动机

用户使用TIS作为执行数据同步工具,单机版TIS承担了两个角色,1.任务配置 2.同步执行worker。之前版本为了防止多任务并发执行导致TIS节点资源耗尽引起节点宕机,采取限制worker节点多任务并发执行。但用户生产场景下往往采用高规格机器节点,在此节点中仍然采用多任务线性执行方式,无疑会浪费富余的机器资源,所以需要尽可能地提升机器资源使用率成为亟待解决的问题。

解决之道

解决方式是让用户自己预估生产节点的执行并发能力,主动权交给用户自己设置,通过界面配置,可以设置并发度等参数。 截屏2024-08-15 14 10 29