Flume-SqlSource

Flume 是一个强大的日志采集工具
在大数据领域使用非常广泛本身的架构又非常简单，而且灵活。但是本身不支持一些数据的源。这里做一些拓展。欢迎提出不足和建议

常见思路

本身自带各种工具入 canal ogg 等等
使用数据库的触发器
使用数据库操作日志如 binlog
使用 sql jdbc 查询后修改目标表

RDB 常见关系型数据库（mysql oracle pg）

数据源	source	sink	版本
RDB	S	X	0.0.1
Mongodb	x	S	0.0.1

高级Api（未完）基于数据库日志级别的扩展

低级Api 同步原理
1时间戳的增量
2主键或者某一字段的增量
3字段修改后的标记同步

cd  RDB 
$ mvn package
$ cp RDB-O.O.1.jar $FLUME_HOME/lib

cd MongoDB
....同上

其他 Mysql 日志级别同步还未完成
需要 alibaba fastjson-1.2.49 及数据库驱动

RDB 配置文件详见 Mongodb 配置文件详见

如有问题请留言上报 ,个人只测试了 mysql 和 oracle mongodb

觉得还行给个星呗,有需求可以提出来,欢迎一起来开发。

感谢大佬们的付出思想源于keedio

flume 批量发送单条发送事务性及配置
解析类型为 Date 和 timestamp 可能存在的风险
json 插入数据库

自增字段的通用性时间整型转为object?