bricolages / bricolage

AWS-oriented Data Warehouse Framework
114 stars 20 forks source link

Add option to skip creating backup table #79

Closed shimpeko closed 7 years ago

shimpeko commented 7 years ago

my-importmigrateno-backupオプションを追加します。

現在は、ロード時に宛先テーブルを_oldプリフィクスを付けてバックアップする実装になっています。しかし、データ量を減らしたい場合や、テーブル数を減らしたい場合などは、_oldテーブルが作成されないほうが都合が良いです。このオプションを付けると、_oldテーブルを作成せずに、ロードを実行します。

shimpeko commented 7 years ago

修正しました

shimpeko commented 7 years ago

ロード先テーブルのロック時間を短縮するために、work_tableへcopyし、その後renameするようにしました(変更前に近い処理の流れに戻しました)