Pipeline 03.1 - Nahrát NKOD do GraphDB trvá enormne dlho (viac než 10 hodín)

datova-kancelaria / nkod-pipeline

Obsahuje export LP-ETL pipeline NKOD pro deployment do k8s

0 stars 1 forks source link

Pipeline 03.1 - Nahrát NKOD do GraphDB trvá enormne dlho (viac než 10 hodín) #4

Closed miroslavliska closed 4 months ago

miroslavliska commented 6 months ago

Vyzerá to, že najdlhšie sa vykonáva mazanie:

miroslavliska commented 4 months ago

Na notebooku mi to nahralo pod 3 minuty. Momentalne na servri s uz vacsim mnozstvom transformovanych datasetov je to cca 30min. Co este musime vyriesit. Najdlhsie trva mazanie "vcerajsich" dat. Nahratie novych je rychle. Pokial je DB prazdna, doba nahratia je najmesia. Tu je plan vyskusat zmenit formu mazania z komplexnej (po grafoch) na jednoduchu (delete all).

Tieto vysledne casy su uz akceptovatelne, zatvaram task.