search

datova-kancelaria / nkod-pipeline

Obsahuje export LP-ETL pipeline NKOD pro deployment do k8s
0 stars 1 forks source link

Vytvorenie vlastného vývojového prostredia LinkedPipes na na localhoste #1

Closed miroslavliska closed 5 months ago

miroslavliska commented 6 months ago

Takze po N pokusoch a konzultaciach je postup nasledovny:

0) Je potrebné nastaviť premenné prostredia pre lokálne linked pipes. V spúšťacom skripte, pred stustením JAVA príkazu je to potrebné nastaviť nasledovne:

#!/usr/bin/env bash
export LP_ETL_DOMAIN=http://localhost:8080
export LP_ETL_STORAGE_URL=http://localhost:8083
export LP_ETL_INSTANCE_URL=http://localhost:8080
export LP_ETL_GRAPHDB_USER=username
export LP_ETL_GRAPHDB_PASS=password
export LP_ETL_GRAPHDB_URL=http://localhost:7200

java -DconfigFileLocation=configuration.properties -jar ./executor/executor.jar

1) Je potrebne stiahnut si z Gitu https://github.com/datova-kancelaria/nkod-pipeline/

pipelines a nakopirovat ich priamo do miesta, kde linkedpipes beziace na lokalhoste si uchovavaju pipelines a templates. V mojom pripade sa jedna o adresar:

/home/ubuntu/git/etl/deploy/data/

Týmto spôsobom sa nezmenia URI pipelines a celý proces update je oveľa jednoduchší

3) Na lokalhoste je potrebné vytvoriť si adresáre, ktoré ETL používa, at to:

/data/lp-etl/data.gov.sk/ckan/rdf /data/lp-etl/data.gov.sk/ckan/json /data/lp-etl/data.gov.sk/migrated /data/website /data/registration/repository/datasety /data/registration/repository/lkody /data/registration/repository/poskytovatelé

4) Následe je možné vykonávať zmeny. Je potrebné, aby pipelines správne bežali.

image

5) Následne je potrebné vyexportovať zip so všetkými pipelines a templates, ich nahratie do lokálneho gitu a ich pushnutie do nkod-pipelines githubu.