Skrypt w Pythonie, który pozyska ze strony GDELT wszystkie linki do ściągnięcia CSV za dany dzień (według RUN_CONTROL_DATE). Wygenerować strukturę katalogów dla ekstrakcji sparametryzowaną przez RUN_CONTROL_DATE.
Pozyskane linki powinny być wrzucone na kolejkę w Redis.
Uruchomienie procesu z checkpointa powinno zapełnić kolejkę tylko tym czego nie ma w checkpoincie.
jakubbrodzinski
commented
4 years ago
Skrypt w Pythonie, który pozyska ze strony GDELT wszystkie linki do ściągnięcia CSV za dany dzień (według RUN_CONTROL_DATE). Wygenerować strukturę katalogów dla ekstrakcji sparametryzowaną przez RUN_CONTROL_DATE.
Pozyskane linki powinny być wrzucone na kolejkę w Redis.
Uruchomienie procesu z checkpointa powinno zapełnić kolejkę tylko tym czego nie ma w checkpoincie.