Open awplxz opened 3 years ago
Flink SQL CDC 以及debezium介绍：
https://developer.aliyun.com/article/782653 https://github.com/debezium/debezium
flink-cdc-connectors封装了debezium，debezium是一个CDC（Changelog Data Capture，变更数据捕获）的工具，可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构，并支持使用 JSON 和 Apache Avro 序列化消息。它通过重用 Kafka 和 Kafka Connect 来实现持久性、可靠性和容错质量。每个连接器监控单个上游数据库服务器，捕获所有更改并将它们记录在一个或多个 Kafka topic中（通常每个数据库表一个主题）。Kafka 确保所有这些数据变化事件都被复制并完全有序，并允许多个客户端独立使用这些相同的数据变化事件，而对上游系统的影响很小。此外，客户端可以随时停止消费，当他们重新启动时，他们会从上次中断的地方恢复。
Flink SQL CDC 以及debezium介绍：
https://developer.aliyun.com/article/782653 https://github.com/debezium/debezium
flink-cdc-connectors封装了debezium，debezium是一个CDC（Changelog Data Capture，变更数据捕获）的工具，可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构，并支持使用 JSON 和 Apache Avro 序列化消息。它通过重用 Kafka 和 Kafka Connect 来实现持久性、可靠性和容错质量。每个连接器监控单个上游数据库服务器，捕获所有更改并将它们记录在一个或多个 Kafka topic中（通常每个数据库表一个主题）。Kafka 确保所有这些数据变化事件都被复制并完全有序，并允许多个客户端独立使用这些相同的数据变化事件，而对上游系统的影响很小。此外，客户端可以随时停止消费，当他们重新启动时，他们会从上次中断的地方恢复。