y30r21 - Githubissues

Randers-Kommune-Digitalisering / etl

MIT License

0 stars 0 forks source link

y30r21 #50

Closed kf-randers closed 6 days ago

kf-randers commented 1 week ago

[x] Lav request
[x] #53
[x] #54
[x] Refactor job -> 1 job som trigger alle datasæt som exctracter de relevante datasæt
[x] Indlæsning via Meta/Data -> Indsættes på SFTP Serveren -> Data Tilgås i SAP/BO
[x] Skriv dokumentation(jobinsats.md)
[x] Opsæt CRON-job og push til CDC

Alle data og alle kommuner.

Kontanthjælp, sygedagpenge, dagpenge, ydelser i alt

Dokumentation til brug af API'et https://jobindsats.dk/media/fzvhjlqu/api-eksempler.pdf https://jobindsats.dk/media/myrlvikp/brugerdokumentation.pdf

Endpoint: https://api.jobindsats.dk/v2/data/y30r21/json

nk-randers commented 1 week ago

Transformeret data med den rigtige struktur ud fra Variablerne:

nk-randers commented 1 week ago

Ændret variablen perioden fra typen string til datetime så det kan virke med Custom Data

nk-randers commented 1 week ago

Stadig beholde den gamle Period variable som string format:

nk-randers commented 6 days ago

Ændret strukturen således der kun er 1 job der kører alle de relevante jobindsats scripts:

nk-randers commented 6 days ago

Opsæt cronjob -> Status:

Logs fra Argo:

Push Meta/Data til CDC:

nk-randers commented 5 days ago

Datasættet [y30r21] fra Jobindsats API'et loades ind i SAP BO: