search

datavane / tis

Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI
https://tis.pub
Apache License 2.0
1.02k stars 220 forks source link

MySQL同步到Elasticsearch的支持Nested及大宽表 #190

Open jsrgqinbin opened 1 year ago

jsrgqinbin commented 1 year ago

MySQL中的 订单表 订单明细 产品表

订单表发生变化后，可以更新Elasticsearch中的数据同步更新Nested订单明细和产品信息表；

MySQL中的 产品表 产品属性 同步到Elasticsearch形成一张表格，在产品表中附加把属性列加进来同步；

产品表更新，更新宽表；

希望支持如上两个产场 @秦彬

baisui1981 commented 1 year ago

问题

  1. 产品表更新，更新宽表；===> 这种情况可能会引起更新风暴，可以接受？
  2. Nested是啥意思？
  3. 打宽表可以使用hive，或者odps不？
jsrgqinbin commented 1 year ago
  1. 产品表更新，更新宽表；===> 这种情况可能会引起更新风暴，可以接受？ 可不可以引入一个配置？
  2. Nested是啥意思？ Elasticsearch Nested类型，如订单头表，订单明细用Elasticsearch Nested类型
  3. 打宽表可以使用hive，或者odps不？ 有些宽表希望打到Elasticsearch里