search

alibaba / DataX

DataX是阿里云DataWorks数据集成的开源版本。
Other
15.55k stars 5.35k forks source link

Java程序调用datax启动多个同步任务报错，每个任务单独执行没问题 #2124

Open C-ZhengL opened 2 months ago

C-ZhengL commented 2 months ago

同时启动多个任务，或者循环启动多个任务，数据库插件是一个，但是会报脏数据，如果每个任务执行完停了应用程序然后执行下一个任务就正常，感觉第一个任务执行完成后没有清理资源，第二个任务读到了第一个同步任务的同步信息，也可能是俩个任务没有隔离环境？ 求解决~

C-ZhengL commented 2 months ago

读写插件使用的是oceanbase

Ashonyer commented 2 weeks ago

要不，发一下具体报错日志，datax把所有插入失败的数据都当做脏数据处理了，通过以上描述看不出来失败原因，不排除是目标端的问题

duhanmin commented 1 week ago

https://github.com/alibaba/DataX/pull/2154

我这个解决方案可以保证不报错 但是JobContainer里面的任务数量监控数据是错误的