DataCatalogのLineageの BigQueryインテグレーションがやってきた！！！

https://cloud.google.com/bigquery/docs/release-notes#December_22_2022

先日、 DataCatalogのLineage機能がPreviewになっていたのだがその機能が BigQuery の UIとして反映されるPublic Previewのリリースが本日入りました.

これは BigQueryで下記のようなテーブルのLineageが確認できるようになる、というものでです。これはみなが求めていたムネアツの機能のひとつですね！

Lineage APIを有効にする

Lineage APIを有効にするには、こちらを参考に

Data Lineage API
Data Catalog APIs を有効にしてください。

https://cloud.google.com/bigquery/docs/data-catalog#enable_data_lineage

Data Catalogの Lineageを確認する

上記 APIを有効にしたタイミングから Data Lineageの構築がはじまると思いますので Data Catalogの画面から確認しましょう。

僕が試した感じの注意点としては

Lineageのデータが有効になるまで 10minちょっとかかる
有効になった時間より、前の時間でジョブのデータは参照されない（ように見えるので）適宜クエリを流してやると Lineageが早く確認できる

あたりがあります

今後のBigQueryどうなる...？

Data Catalogの BigQueryインテグレーションは誰もが望んでいた待望の機能だと思います。そのなかで近年のデータ基盤の取り組みでもアツいメタデータのなかで、LineageがBigQueryにここまで早く統合されたことは非常に嬉しいことです。

これまでは Data Catalogの機能は独立していたことは多く BigQuery → Data Catalog方向のインテグレーションはあっても逆方向は多くありませんでした。昨年から続いてきた(いろいろ煮え湯飲まされた)BQのフロントUIの刷新の成果がようやく実を結んだことが実感できるリリースではないでしょうか？

ここを足掛かりにその他のBigQueryのData Catalog機能がBQコンソールに統合される未来もそう遠くないのではないかと期待せずにはいられないリリースかなと思います。

takegue / estante