Hvis vi opplever en feil i relasjon med f.eks Kafka-løpet, spesielt i forbindelse med utvikling, har loggingen en tendens til å gå fullstendig amok.
Eksempelvis, ved test av komprimering i fdk-search-service 10-11 april, logget applikasjonen over en 24-timers periode 350mill meldinger.
Vi har circuit-breakers på plass ved feilsituasjoner ved "normaldrift", men vi er fortsatt litt sårbare ved utvikling av nye tjenester, og noen ganger i perioder etter prodsetting (inkludert demomiljøet), hvis en utvikler glemmer noe konfig e.l.
Hvorfor trenger vi det?
Vi er sårbare for høyt pengebruk i utviklingsmiljøet.
Hvis en jobb feiler, er det ingen grunn til å prøve å gjøre det igjen hvert tusendels sekund.
Forslag/løsning [Valgfritt]
På applikasjonsnivå:
Håndtér feiltilfeller på en bedre måte (der man har mulighet) (fullstendig løst av circuitbreaker?)
På infrastrukturnivå:
Sett opp mindre ignorérbare alarmer som trigges hvis akkumuleringen av logg går over et visst nivå, via Slack, epost og evt andre kanaler.
Utforsk og evt implementer automatisk håndtering av situasjoner der en applikasjon har løpt løpsk.
Kan vi f.eks skalere ned poddene det gjelder, eller oppdatere logs-router?
Definisjon av ferdig
Vi ser ikke lenger voldsomme svingninger i logg-kostnad.
Hva:
Hvis vi opplever en feil i relasjon med f.eks Kafka-løpet, spesielt i forbindelse med utvikling, har loggingen en tendens til å gå fullstendig amok. Eksempelvis, ved test av komprimering i fdk-search-service 10-11 april, logget applikasjonen over en 24-timers periode 350mill meldinger. Vi har circuit-breakers på plass ved feilsituasjoner ved "normaldrift", men vi er fortsatt litt sårbare ved utvikling av nye tjenester, og noen ganger i perioder etter prodsetting (inkludert demomiljøet), hvis en utvikler glemmer noe konfig e.l.
Hvorfor trenger vi det?
Vi er sårbare for høyt pengebruk i utviklingsmiljøet. Hvis en jobb feiler, er det ingen grunn til å prøve å gjøre det igjen hvert tusendels sekund.
Forslag/løsning [Valgfritt]
På applikasjonsnivå:
På infrastrukturnivå:
Definisjon av ferdig
Vi ser ikke lenger voldsomme svingninger i logg-kostnad.