apache / doris

Apache Doris is an easy-to-use, high performance and unified analytics database.
https://doris.apache.org
Apache License 2.0
12.77k stars 3.29k forks source link

hive元数据相关 #16001

Open tiger-hcx opened 1 year ago

tiger-hcx commented 1 year ago

Discussed in https://github.com/apache/doris/discussions/16000

Originally posted by **tiger-hcx** January 17, 2023 doris的版本是1.2.1. 场景:hudi数据写入的时候并同步元数据到hive,然后在doris中创建catalog,然后查询hudi的数据。 创建catalog: CREATE CATALOG hive7 PROPERTIES ( 'type'='hms', 'hive.metastore.uris' = 'thrift://ip:9083' ); 问题是:创建完catalog之后可以正常查询现有hudi的数据,但是新建一张hudi表的时候,新表元数据已经同步到hive,使用hive也可以正常查询hudi数据,但是使用doris查不到新建的这张表,需要重新新建一个catalog才能查到这张表。也就是doris连接hive元数据并不是实时同步的,只是同步了创建catalog的时候的hive元数据,这个问题如何解决呢?
xinxingi commented 1 year ago

注意:

Hive 表 Schema 变更不会自动同步,需要在 Doris 中重建 Hive 外表。

https://doris.apache.org/zh-CN/docs/dev/lakehouse/external-table/hive

zhangm365 commented 4 months ago

pls reflesh the catalog cache again: REFRESH CATALOG ctl1 PROPERTIES("invalid_cache" = "true");