Mapowanie tabeli article

arekziobrowski / gdelt-big-data

0 stars 0 forks source link

Closed arekziobrowski closed 4 years ago

arekziobrowski commented 4 years ago

Wykorzystać sparka do mapowania tabeli article. Przepisania 1:1 + stworzenie lookupu z załadowanej tabeli. Będzie potrzebny join.

arekziobrowski commented 4 years ago

I jeszcze mapowanie tabeli country (tylko też przepisanie 1:1).

zxxa commented 4 years ago

[x] Zmiana w dokumentacji dotycząca mapowania tabeli country:

/etl/staging/load/{RUN_CONTROL_DATE}/country.dat-part-00000
/etl/staging/load/{RUN_CONTROL_DATE}/country.dat-part-00001

[x] Zmiana w dokumentacji dotycząca mapowania tabeli article:

/etl/staging/load/{RUN_CONTROL_DATE}/article/article.dat-part-00000