search

wwalpha / aws-data-and-analytics

0 stars 0 forks source link

データ収集の順序、既存データ、増分の考慮 #2

Open wwalpha opened 1 year ago

wwalpha commented 1 year ago

データ取り込みシステムは、データ形式や圧縮タイプが異なる複数のデータソースから、データの順序通りに、既存データと増分データの両方が収集できるべきです。

wwalpha commented 1 year ago

Database、S3 の増分は Glue Bookmark 機能で対応

wwalpha commented 1 year ago

Raw → Trusted(Glue) → Refined