microsoft / openhack-for-lakehouse-japanese

A repository for OpenHack for Lakehouse. The contents are written in Japanese.
MIT License
10 stars 5 forks source link

メダリオンアーキテクチャのパイプラインの構築方法が CTAS でよいのか #22

Closed manabian- closed 1 year ago

manabian- commented 1 year ago

メダリオンアーキテクチャのパイプラインの構築方法が CTAS となっているのですが、実践的な appendMergeを利用しなくていいのかを検討させてください。

最初の画像に bronze はスキーマを持たないという記載もあり、データ型を付与しているため文章等と整合がとれていない状況になっているのではと考えてます。

image

nakazax commented 1 year ago

以下 2 ノートブックを修正 @manabian- アサイン

https://github.com/microsoft/openhack-for-lakehouse-japanese/blob/develop/day1_with_answers/day1_03__bronze.py https://github.com/microsoft/openhack-for-lakehouse-japanese/blob/develop/day1_with_answers/day1_05__silver.sql