search

arekziobrowski / gdelt-big-data

0 stars 0 forks source link

Pozyskanie CSV #5

Closed arekziobrowski closed 4 years ago

arekziobrowski commented 4 years ago

Skrypt w Pythonie, który:

  1. Ściąga link z kolejki w Redisie.
  2. Ściąga CSV z linka.
  3. Waliduje sumę kontrolną.
  4. Wypakowuje CSV do odpowiedniej lokalizacji.
  5. Pisze do logów/checkpointa dla danego RUN_CONTROL_DATE.

Dane do testu 1 (wycinek pliku | plik do pobrania): FINISH_DATE|FILE_LOCATION 2019-11-12 12:45:40|/data/gdelt/201911/csv/20191111000000.export.csv 2019-11-12 12:45:40|/data/gdelt/201911/csv/20191111001500.export.csv 2019-11-12 12:45:40|/data/gdelt/201911/csv/20191111003000.export.csv

jakubbrodzinski commented 4 years ago

Done