Bucket Partioning

[philippvarga-thi]

Als Data Engineer möchte ich beim Speichern der Daten (Items) partionieren. Das heißt. hier sinnvolle Ablagestruktur erstellen: Beispiel:

• year
  • month
  • day

hhmm.csv

DoD

• Partionierung der Dateien in S3

[MartinCitak]

Beispielhaft zum ablegen in: Firstcrawlerbucket/ScraperData/YY/MM/DD/hh/mm/\_.csv s3path = ScraperData/YY/MM/DD/hh/mm/\.csv

[MartinCitak]

Beispielhaft zum ablegen in: Firstcrawlerbucket/ErrorHTML/YY/MM/DD/hh/mm/\.html s3_path = ErrorHTML/YY/MM/DD/hh/mm/\.html

[MartinCitak]

Beispielhaft zum ablegen in: Firstcrawlerbucket/ErrorURL/YY/MM/DD/hh/mm/.html s3_path = ErrorURL/YY/MM/DD/hh/mm/\.html Ergänzend pro Eintrag: Name zur HTML Datei