Etablere CDC via WAL i Postgre

[elsand]

Det etableres en CDC-komponent. Denne skal deployes separat til en egen container app, og skaleres vertikalt etter behov.

- [x] Sette opp Bicep for infra
- [x] Sette opp docker-container for bruk både lokalt og i azure
- [x] Implementere deploy-pipline
- [x] Implementere CDC som egen csproj

Se også

• https://digdir.github.io/dialogporten/#systemarkitektur

• 49

• 50

[elsand]

Dette er påbegynt i https://github.com/digdir/dialogporten/tree/main/src/Digdir.Domain.Dialogporten.ChangeDataCapture

[MagnusSandgren]

Legger ved noen ustrukturerte notater:

Change data capture:

• Krav:

  1. Kan ikke gå ut i fra at ukonsumerte replication slots overlever da Azure Postgre server kan droppe de fremfor å la postgre dø pga full WAL. Må håndtere disse scenariene.
  2. Videreføre correlation id?

• Startup:

  1. Lag publication om ingen finnes
  2. Lag rep slot om ingen finnes
  3. (SnapshotSync) Last inn alle nåværende outboxes til buss dersom rep slot ikke fantes i steg 2, i batches. (Lagre siste timestamp/id som vi klarte å overføre til buss dersom vi blir avbrutt i denne prosessen og må starte på nytt? Kan kalle det snapshotCheckpointing) (Alternativt: tillat flere bus events per outbox message, service må da låse outbox og BARE outbox)
  4. Start replication (subscription) som overføres til buss.

• Shutdown:

  1. Logg kritisk error dersom error er årasken til shutdown.
  2. Rydd opp rep slot og publication i finally block slik at WAL kan fjernes. Kan gjøres pga steg 3 i startup. Vil prevantivt forhindre at WAL fylles opp både ute i miljø og lokalt.

• Snapshot sync (steg 3 av startup):

  1. Last inn SnapshotCheckpoint, kan være null ved init. Dersom den er null, returner DateTimeOffset.MinValue
  2. Forsøk å pinge SnapshotCheckpoint tilbake til postgres for å verifisere at CDC har tilgang før start av snapshot prosessering. Bruk upsert syntax: "INSERT INTO … ON CONFLICT DO UPDATE"
  3. Stream hele outbox tabellen med WHERE createdAt > checkpoint.timestamp OR (createdAt = checkpoint.timestamp AND id > checkpoint.id) ORDER BY createdAt ASC, id ASC
  4. For hver outbox: 4.1. Send event på buss 4.2. Oppdater SnapshotCheckpoint: timestamp og id av siste vellykkede utsending av outbox melding på buss

Service:

• Kan komme melding på bussen om en outbox som alt er konsummert og fjernet. Log info og hopp over.

Scenario:

1. Finner ikke outbox message => Går ut i fra at den er prossesert, log, gå videre
2. Finner outbox message =>
   1. Alle konsumerne er håndtert => delete
   2. Flere service instanser plukker samme melding => opptil flere duplikater, en instans melder feil ved insert av en OutboxMessageConsumer

[MagnusSandgren]

Denne blir satt på pause til #1041 har nådd en konklusjon

[MagnusSandgren]

1041 har løst eventer på en annen måte. Lukker denne