search

alibaba / DataX

DataX是阿里云DataWorks数据集成的开源版本。
Other
15.77k stars 5.4k forks source link

split的优化点 #2157

Open lwd-coding opened 2 months ago

lwd-coding commented 2 months ago

1.IS NOT NULL应该支持配置项 image 这个IS NOT NULL的拼接调整为配置可选会更好，因为对于mysql本身就是忽略null，但是在min和max加了IS NOT NULL会导致整颗索引树扫描 image

2.做分库分表迁移，存在自增id和雪花算法，使用默认split会有数据倾斜，如果split支持按自己配置的切分段执行会更好

good-134 commented 2 months ago

您好, 刚好也在做分表数据迁移,现在的大表是雪花ID，打算用datax，他这个split支持雪花id吧？

lwd-coding commented 2 months ago

您好, 刚好也在做分表数据迁移,现在的大表是雪花ID，打算用datax，他这个split支持雪花id吧？

可以的

good-134 commented 1 month ago

您好, 刚好也在做分表数据迁移,现在的大表是雪花ID，打算用datax，他这个split支持雪花id吧？

可以的

如某个分片的数据量非常大,会有数据倾斜。您有什么好处理的方法吗?