search

bricolages / bricolage

AWS-oriented Data Warehouse Framework
113 stars 20 forks source link

複数テーブルのタスクのロードを1トランザクションと、テーブル毎のロードインターバルのサポート #68

Closed shimpeko closed 8 years ago

shimpeko commented 8 years ago

1. 複数テーブルのタスクのインサートを1トランザクションで実行するように変更。

課題 テーブルごとに異なるトランザクションでタスクがインサートされているため、コミット回数が多い。コミットは待たされることが多いため、パフォーマンスが悪い。

対応 同じタイミングで実行されるタスクのインサートを1トランザクション化

2. テーブルごとのロードインターバルのサポート

課題 全テーブルが同じ間隔でロードされると、ロードが追いつかない場合がある

対応 テーブル毎にロード間隔を設定できるようにする

shimpeko commented 8 years ago

@aamine plz