search

apache / doris

Apache Doris is an easy-to-use, high performance and unified analytics database.
https://doris.apache.org
Apache License 2.0
12.7k stars 3.28k forks source link

请问mongo如何增量同步数据到doris #5141

Open josh7 opened 3 years ago

josh7 commented 3 years ago

请问如何增量同步mongo和mysql数据到doris？

nimuyuhan commented 3 years ago

1、mysql开启binlog，写入消息队列单分区。流任务一个task 消费队列数据写入doris。

josh7 commented 3 years ago

@nimuyuhan 如果用canal同步mysql到kafka，流程能跑通，但是canal不支持全量同步到kafka，请问你是怎么把数据库先全量同步到doris呢？

nimuyuhan commented 3 years ago

1、可以用把全量同步hdfs，hdfs数据同步doris（推荐）。 2、doris可以映射mysql表，小表可以关联上，需要导入doris的话可以insert into。

hf200012 commented 3 years ago

mongodb也有开源的log监控工具，监控以后推送kafka就可以了，https://github.com/kekingcn/kkbinlog

HappenLee commented 3 years ago

doris也可以通过ODBC映射mongodb的外表，我之前开发odbc外表的时候测试过，小表可以关联上，需要导入doris的话可以insert into。

qinlodestar commented 3 years ago

@nimuyuhan 如果用canal同步mysql到kafka，流程能跑通，但是canal不支持全量同步到kafka，请问你是怎么把数据库先全量同步到doris呢？

可以先在doris中创建kafka作业，然后再通过Flink mysql-cdc，关联mysql和kafka，写入kafka中

yanniszhou commented 1 year ago

doris也可以通过ODBC映射mongodb的外表，我之前开发odbc外表的时候测试过，小表可以关联上，需要导入doris的话可以insert into。

@HappenLee 你好，请问doris 外表接mongodb数据源方案官方一直没有发布，大概什么时候可以支持呢？