terjesyl commented 1 year ago

Fase ut RabbitMQ

Målsetning

Erstatte all bruk av RabbitMQ med Kafka

harvest-scheduler
harvest-admin
registreringsløsningene (begrep, datasett, api)
samtlige høstere (fdk-*-harvester)
~fdk-reasoning-service~
fdk-kafka-event-publisher
~fdk-fulltext-rabbit-consumer (sender melding om oppdatering til fdk-fulltext-search)~
~fdk-sparql-service (mottar reasoned-meldinger)~

Har en egen kø i en egen exchange som mottar compact-meldinger fra harvest-scheduler. For å motvirke diskbruk (creep) og kræsj.

harvest-admin og registreringsløsningene trenger endepunkt for å opprette nye høstekilder.
Fjerne alle bruk av RabbitMQ fra høsterne.
Resterende.

terjesyl commented 11 months ago

Konsensus for at dette er verdt å følge opp.

Jeff holder i kartlegging og planlegging (med Terje)

KjerstiSteien commented 1 month ago

@terjesyl @NilsOveTen kan dere stryke ut de tjenestene som ikke lenger bruker rabbit? (Hvis det er noen)

NilsOveTen commented 1 month ago

@KjerstiSteien Satte strek over sparql, reasoning og fulltext. Resterende er fortsatt avhengige av rabbitmq