alibaba / DataX

DataX是阿里云DataWorks数据集成的开源版本。
Other
15.73k stars 5.39k forks source link

splitPk后,生成重复数据文件 #2078

Open CorgiHuang opened 5 months ago

CorgiHuang commented 5 months ago

读插件为oceanbasev10reader,写插件为txtfilewriter 不加splitPk参数,仅生成一个文件。加上splitPk后,生成了多个文件,但是核查发现,每个文件的内容都一模一样,都是全量数据。 确认了splitPk的字段是递增且唯一的,请问该如何保证生成的多个文件应该为实际拆分任务查询出来的数据,而不是全量数据呢?