search

nlbdev / produksjonssystem

Produksjonssystem basert på mapper og pipelines
2 stars 2 forks source link

Ikke alle jobber som vises i /editions/.../jobs er tilgjengelige #346

Open GauteR opened 2 years ago

GauteR commented 2 years ago

Hvis man søker på jobs for 582931 https://api.nlb.no/v1/editions/582931/jobs får man en liste med mange jobber, enkelte av disse mangler når man går direkte inn på de: https://api.nlb.no/v1/editions/582931/jobs/2022-01-24_11-20-58.238-incoming-nordic/report som gir 500/404-feil pr dags dato.

En jobb-rapport som ikke eksisterer, bør ikke ligge i listen over jobs.

josteinaj commented 2 years ago

Dette er en jobb som har kjørt men det har ikke blitt laget en HTML-rapport. Loggen finnes (uten at det står noe interessant i den). Antageligvis feilet jobben før den rakk å lage HTML-rapport. At en jobb ble kjørt, men at den feilet, er jo interessant nok til at den bør være med i listen synes jeg. Kanskje vi kunne sagt at så lenge det finnes en loggfil (log.txt) så skal den stå i lista, og at manglende rapport (HTTP 404) bare må håndteres av klienten?

GauteR commented 2 years ago

@josteinaj Kunne vi kanskje bare sitte med datagrunnlaget, og generert HTML/TXT rapporter on-demand, slik at HTML/TXT er en format parameter, dvs. ikke lagre rapportene i HTML eller TXT format, men som JSON eller annet datalagringsformat?

F.eks. forandre kallene til: /editions/582931/jobs/2022-01-24_11-20-58.238-incoming-nordic?format=html

Hvor default format er text.

GauteR commented 2 years ago

Ett annet forslag er å legge på en ekstra parameter typ: exclude-missing-reports=true|false på /jobs hvor den ikke inkluderer de som mangler rapporter. Blir mange kall fra API hvis det ikke håndteres i produksjonssystemet, tror jeg.

josteinaj commented 2 years ago

Ja kanskje det. Sånn det funker nå, om jeg ikke tar feil, er at logging sendes sånn:

ERROR og INFO: tolkes som markdown og sendes til HTML-visning (e-post)

ERROR, INFO og DEBUG: sendes til loggfil med tidsstempel på hver linje

Jeg er usikker på hvorfor ikke report.html alltid genereres når log.txt alltid lages. Tror det er det vi må finne ut av, og sørge for at report.html alltid lages, selv om jobben kræsjer. Vi kan alternativt lage report.md om det trengs, også lage report.html etter behov.

GauteR commented 2 years ago

Jeg kan i første omgang legge inn en lenke til loggen hvis rapporten ikke fungerer (for produksjonsverktøyet)

josteinaj commented 2 years ago

Alternativt så kan du ha to knapper: "Rapport" og "Detaljert logg", og hvis det ikke finnes noe rapport så viser du bare "Detaljert logg".

Når vi får integrert andre systemer som produksjossteg så er det ikke sikkert at vi får til å lage HTML-rapporter for alt mulig rart, så mye vil kanskje ha bare en loggfil.