Test: Skrive tester som dekker høsteløpet i tilstrekkelig grad

[KjerstiSteien]

Beskriv hvilke tester som anses som nødvendige.

Formål: Vi har kontroll på høsteløpet og kan oppdage om noe slutter å fungere som det skal uten å være avhengig av tilbakemeldinger fra brukere.

Løsningsforslag

Poster feilmelding til slack-kanal dersom feil oppstår i høsteløpet. Alert i Alertmanager som postes til slack dersom Prometheus fanger opp errors i høsteløpet (etter høsterne).

Hvordan sette opp, hva trengs?

~Løsningsforslag (tilsidesatt)~

~En test-katalog med veldig enkel ressurs som har en verdi som endres til dagens dato hver natt og en testdings som sjekker at ressursen har korrekt dato i svaret fra search, resource og sparql?~

• ~En beskrivelse per ressurstype.~
• ~Gjør endring på ressurs regelmessig.~
• ~Teste at endring er observerbart i alle utadrettede tjenester innen et rimelig tidsrom (30 min?)~
  • ~fdk-search-service~
  • ~fdk-resource-service~
  • ~fdk-sparql-service~
• ~ev. trinnvis, info ved 30 min om endring mangler, varsel etter noen timer. Tid gjennom høsteløpet kan variere mye avhengig av arbeidslast.~
• ~Hvor skal det varsles/hvor skal det synliggjøres?~
  • ~Forslag: Metrikk til Grafana, og visualisering med for eksempel State Timeline eller lignende.~

[terjesyl]

@jeffreiffers @NilsOveTen Hvor skal vi legge listen her? Er det nok om hver enkelt tjeneste har en tilstrekkelig testdekning, eller bør vi sette opp ende-til-ende-test for hele høsteløpet?

[NilsOveTen]

en test-katalog med veldig enkel ressurs som har en verdi som endres til dagens dato hver natt og en testdings som sjekker at ressursen har korrekt dato i svaret fra search, resource og sparql?

[terjesyl]

Jupp, høres lurt ut. Kan settes opp som cron-jobb. Bør kanskje gjøres for hver ressurstype?

[terjesyl]

Men hvilket miljø skal vi kjøre dette i? Om vi publiserer en ressurs og sjekker om den høstes og publiseres i FDK fungerer den som en slags kanari. Men antar at vi vil unngå at ikke-reell data havner i prod. Samtidig er det i prod det kanskje er mest verdifull å ha en slik ende til ende-test. Tanker?

[NilsOveTen]

Hvis vi skal teste prod så trenger vi en ressurs som vi kontrollerer og som har minst 1 egenskap som oppdateres med en høyere frekvens enn hvor ofte det testes. Jeg tenker det gir mest mening å teste demo, som er prodlik. @KurtStian Hva tenker du?

[KurtStian]

Det beste er jo hvis man kunne ha testen i demo, men kan det være tilfeller det blir/er avvik mellom demo og prod og hva er ev. sannsynligheten for at dette skjer?

[terjesyl]

Vi ble enig om å fange opp feil fra tjenestene i høsteløpet og produserer alert til slack.