Zasilanie tabel - Githubissues

arekziobrowski / gdelt-big-data

0 stars 0 forks source link

Zasilanie tabel #18

Closed arekziobrowski closed 4 years ago

arekziobrowski commented 4 years ago

Zrobić rozwiązanie generyczne do zasilania dowolnej tabeli z pliku HDFS. Wykorzystać narzędzie Sqoop - skrypt napisać w bashu tak jak ten. Następnie zrobić uruchomienie w skrypcie do zasilenia tabel:

/etl/staging/load/RUN_CONTROL_DATE/article.dat → articles
/etl/staging/load/RUN_CONTROL_DATE/image.dat → image
/etl/staging/load/RUN_CONTROL_DATE/color_metadata.dat → color_metadata
/etl/staging/load/RUN_CONTROL_DATE/image_metadata.dat → image_metadata
/etl/staging/load/RUN_CONTROL_DATE/keyword_metadata.dat → article_keyword

zxxa commented 4 years ago

Kolejność:

[ ] country
[ ] article (poniższe mogą być równocześnie)
[ ] article_keyword
[ ] image
[ ] image_metadata

co z color_metadata?

arekziobrowski commented 4 years ago

color_metadata już jest w tabelce bez potrzeby ładowania. Było ładowane inicjalnie przy ekstrakcji.

arekziobrowski commented 4 years ago

Zrobić czyszczenie country całej przed załadowaniem.