search

alibaba / canal

阿里巴巴 MySQL binlog 增量订阅&消费组件
Apache License 2.0
28.54k stars 7.62k forks source link

一个deployer同时开启tcp和kafka功能 #3027

Open kingkongpoon opened 4 years ago

kingkongpoon commented 4 years ago

版本是1.1.4的，一直在用kafka方式同步，现在需求是用adapter往hbase同步一份。看了一下，如果是开启了kafka的话，tcp是会自动关了，简单的改了一下代码https://github.com/alibaba/canal/blob/master/deployer/src/main/java/com/alibaba/otter/canal/deployer/CanalController.java#L532-#L535 测试之后，这里还有线程操作，数据会丢。 有什么方法，可以同时启用tcp和kafak？还是要启动多个CanalLauncher？还是后续版本会支持？

twodog-tt commented 4 years ago

遇到了同样的问题 我重新配了一台机器

kingkongpoon commented 4 years ago

遇到了同样的问题 我重新配了一台机器

感觉这样比较浪费资源

kingkongpoon commented 4 years ago

遇到了同样的问题 我重新配了一台机器 我整了一个flume的sink，可以看看 https://gitee.com/kingkongpoon/flumehbase2sink/tree/master