search

datavane / tis

Support agile DataOps Based on Flink, DataX and Flink-CDC, Chunjun with Web-UI
https://tis.pub
Apache License 2.0
1.04k stars 221 forks source link

SqlServer数据库需支持基于flink-cdc实时读connector #340

Open y3147450 opened 4 months ago

y3147450 commented 4 months ago

模块功能说明

基于Flink-CDC 的 SqlServer Source Connector组件，在TIS中为其封装成UI式组件，实现零代码构建SqlServer作为源的实时数据通道。

模块列表

  1. FlinkCDCSqlServerSourceFactory.java 负责监听数据源增量日志所创建必要的构建的工厂类（类似监听MySql，PG中数据源所对应的Flink SourceFunction 封装），该类作为TIS与Flink-CDC SqlServer Source Connector 桥接器。
  2. FlinkCDCSqlServerSourceFunction.java 启动Flink实时任务实例的入口。
  3. TestFlinkCDCSqlServerSourceFactory.java TestFlinkCDCSqlServerSourceFactory类对应的单元测试类

开发脚手架

TIS 已经为本组件提供了脚手架项目，开发者只需要在此项目上继续开发完成模块列表中提及的模块。脚手架地址为 https://github.com/qlangtech/tis-sqlserver-plugin

资料参考

  1. flinkCDC 支持 sqlserver source connector，https://nightlies.apache.org/flink/flink-cdc-docs-release-3.2/docs/connectors/flink-sources/sqlserver-cdc/#single-thread-reading
baisui1981 commented 3 weeks ago

基于独立项工程开发： https://github.com/qlangtech/tis-sqlserver-plugin/tree/dev/tis-flink-cdc-sqlserver-plugin