navikt / nada-kafkarator

Kafkarator manages kafka topics
MIT License
0 stars 1 forks source link

Hvordan synce mellom clustere? #19

Closed mortenlj closed 3 years ago

mortenlj commented 4 years ago

Vi skal ha ett kafka cluster for prod, og ett for dev. Men i dag er det tre kubernetes clustere for prod, og tre for dev. Hvis topic a opprettes i dev-gcp, så må det fortsatt være mulig for en app x å be om tilgang i dev-sbs.

Enten må vi ha en kafkarator instans som ser alle tre clustre (kanskje ikke mulig, og i hvertfall mye jobb), eller så må vi synkronisere på tvers av clustere på et vis.

En løsning kan være at kafkarator i et cluster fungerer som beskrevet, men tar også å sender alle endringer den ser på et kafka topic. Så har vi en annen komponent (eller bakgrunnstråd i kafkarator), som tar i mot slike og sørger for å oppdatere tilsvarende objekt i sitt cluster. Da vil kafkarator i alle clustere ha samme view lokalt, så det vil være litt race for å gjøre nødvendige endringer i Aiven, men så lenge det gjøres idempotent så burde ikke det gjøre noe. En forutsetning for å få til dette er at alle team har namespace i alle clustere.

Kyrremann commented 4 years ago

Alle team skal ha et namespace i hvert cluster.