Flink中的Hive Connector - Githubissues

code-dm / Re-learning-Java

Re-learning Java、Java Base

https://codedm.com

1 stars 0 forks source link

Flink中的Hive Connector #11

Open code-dm opened 2 years ago

code-dm commented 2 years ago

Hive Connector的使用：

基本概述
Catalog
读写案例
Hive中函数的使用
1. 源码了解

code-dm commented 2 years ago

一些企业中常见的使用例子：

从MySQL中同步数据到Hive
MySQL实时同步一张表到Hive
从Kafka同步数据到Hive
Hive的一个表同步到另外一个表
Kafka数据关联Hive维度数据进行同步

code-dm commented 2 years ago

参考相关连接： Flink官方文档：https://nightlies.apache.org/flink/flink-docs-release-1.15/zh/docs/connectors/table/hive/overview/

code-dm commented 2 years ago

Hive Connector创建Catalog的原理：

HiveCatalogFactory、HiveCatalog以及CatalogManager。
HiveShim
执行流程

code-dm commented 2 years ago

Hive Connector 读写源码解析：参考文章： https://cloud.tencent.com/developer/article/1697918 https://nightlies.apache.org/flink/flink-docs-master/zh/docs/connectors/table/hive/hive_read_write/