SAK 05-2022: Sanering av data i Altinn II (BOD)

[fsveinsb]

Describe the problem or need

Oversikt over brukers slettede elementer ble innført i Altinn 2 portalen i 2017. Brukere har siden dette gjennomført slettinger.

Fysisk sletting må gjennomføres.

Følgende statuser gjelder for sletting av elementer:

1. Soft delete, da synes elementet i slettede elementer. Elementet kan evt. gjenopprettes av bruker selv. Da legges elementet tilbake i innboks eller arkiv (der det opprinnelig ble slettet fra)
2. Hard delete/slett permanent. Elementet synes ikke lenger i slettede elementer, men ligger fortsatt i databasen og tar opp plass. Bruker kan ikke selv lenger gjenopprette dette elementet (men dette kan gjenopprettes av leverandør)
3. Fysisk sletting. Dataene fjernes fra databasen – det er først her at dataene blir fjernet og plassen frigjøres. Når elementet er fysisk fjernet kan det ikke gjenopprettes
4. Arkivert: Elementet er lagt i arkiv og det opprinnelige elementet i ServicEengine (SE) settes i status hard deleted

Slettescriptet skal utføre følgende i følgende rekkefølge:

1. Alle elementer som har blitt satt til soft delete for mer enn 2 år siden slettes fysisk i SE
2. Alle elementer som har har fått satt Soft delete for minst 1 år siden endres til hard delete i både SE og AR
3. Alle elementer med status Hard delete slettes fysisk i SE 1 år etter at elementet fik status hard delete i SE. Det gjennomføres ikke sletting i AR

Tiltak:

1. Vurdere sikkerhetsmessige og juridiske forhold
2. Informere tj.eiere om slettingen. Av og til dukker det opp saker der de ber om å få tilgang til informasjon om en bruker har mottatt en meldingen. Hvis en sletter meldingen slettes også trans.loggen til meldingen
3. Sende ut driftsmelding til SBS om at vi sletter i SE etter 1 år etter at de ble arkivert. Informere om at hvis de trenger elementet etter dette må de også lage en spørring mot AR i tillegg til den spørringen som de allerede har mot SE. Endepunktet mot arkiv er klart til bruk.
4. Endre tekst i portalen som angir at elementer blir liggende i slettede elementer fra 2 år til 1 år.

Det legges til grunn:

• Sletting av elementer må skje i hht «instruks» fra sluttbruker
• Dersom brukeren har lagt elementer i «papirkurven» har vedkommende gitt en slik instruks om sletting.
• Denne slettingen bør gjøres umiddelbart, dog med en mulighet til gjenoppretting i løpet av et kort tidsrom (eks. en måned?).
• Det er viktig at sluttbrukeren er informert om dette og kan ta aktive valg.

Objectives & Key Results (OKR)

Innfrielse av behov

• [x] Elementer som bruker har bedt om skal slettes vil fysisk slettes
• [x] Unngå visningsfeil i innboks siden slettede elementer påvirker visningen og resultater for brukere med mange elementer
• [x] Spare plass og kostnad i database, fileshare, SAN og backup
• [x] Raskere restore tid siden en unngår å måtte restore elementer som er slettet

Describe the possible solution

Slettescriptet er utarbeidet, men det gjenstår avklaringer før dette kan kjøres. Dette scriptet må kjøres en gang kontrollert deretter schedulert. Det må kjøres en telling før første gangs kjøring for å beregne antall og kjøretid. Det forventes at scriptet vil slette mer enn 60 millioner elementer og 5 TB ved førstegangskjøring. Det forventes at kjøretid vil være 3 timer pr. million pr. døgn. Sletting vil kjøre i ca 60 dager og effektiv kjøretid vil være ca 6 døgn.

Expected benefits and effects

Sletting vil skje i henhold til brukes ønske. Det frigjøres i tillegg plass på disk og i backup som vil bidra til å redusere kost.

Stakeholders and target groups

• Tjenesteiere ift ikke-benekt
• Produkteier Portal (endringen fra 2år synlig i slettede elementer til 1 år synlig og 1 år ikke synlig)
• Sluttbrukersystemer ift oppslag
• Juridisk
• Sikkerhet ift tilgjengelighet
• Leverandør ift gjennomføring av sletting

Resources

Tiltaket gjennomføres av infrastruktur teamet som del av denne organisering. Det legges opp til å låne en ressurs fra forretningsutvikling for gjennomføring. Tiltaket krever bred involvering.

Risk

Moderat med utgangspunkt i at dette er et større volum som skal slettes og det i praksis ikke er tilbakerullingsmuligheter når slettingen først er gjort.

[fsveinsb]

C17872, T13126 Ny prosedyre for å flippe elementer fra soft delete til hard delete

Bestilling av ny jobb/prosedyre Alle elementer som har blitt satt til soft delete for mer eller lik to år siden endres status til hard delete i AR og SE. Kjøres regelmessig som egen oppgave

Fysisk sletting dekkes av gjeldende slettescript. Det bestilles ingen endring på dette. Jobben bes testet og satt opp til å gå regelmessig i TT02. Alle elementer eldre enn to år skal ikke lenger vises i søppelkurven for bruker Innsendinger blir fysisk slettet 30 dager etter statusendring iht gjeldende sletterutine Kunden vil bestille jobben for PROD i egen sak etter at leverandøren har utført endringen i TT02.

Følgende er utestående etter denne jobben er satt i gang: A)Det som gjenstår og som må analyseres nærmere i egne saker er: Fysisk sletting av meldinger i SE som har status hard delete eller submitted Fysisk sletting av meldinger og innsendinger i AR som har status hard delete

B)Følgende vil ikke bli prioritert *Fysisk sletting av slettede elementer med betalingsinfo i SE og AR