Backport af ny OpenData connector fra dev-polyglot-microservices

Randers-Kommune-Digitalisering / vis-klimadata-initiativer-aktiviteter

Monitorering og rapportering af data vedr. Klimaplanens initiativer og aktivitetsdata fra Randers Kommune

MIT License

1 stars 0 forks source link

Backport af ny OpenData connector fra dev-polyglot-microservices #131

Open st-randers opened 11 months ago

st-randers commented 11 months ago

Ny version af OpenData connector findes i dev-polyglot-microservices

st-randers commented 11 months ago

Overvej ny logik ift. retry scheduling, da denne både kan ske på metadata-niveu, og efter split på fil-niveau. Dvs. følgende tilfælde teoretisk kan ske:

Metadata downloades OK - 2 filer sættes til hentning
Fil 1 downloades OK
Fil 2 får HTTP 404
Fil 1 flow fortsætter og loades i DB
Fil 2 error igangsætter retry schedule for ALLE filer
Ved retry, loades fil 1 endnu engang til DB