search

kadaster-labs / sensrnet-home

Home of the SensRNet - The Dutch National Sensor Registry Network
Other
15 stars 7 forks source link

Stabiliteit van eventstore-sync-multichain onderzoeken #212

Open marcvanandel opened 3 years ago

marcvanandel commented 3 years ago

Het lijkt erop dat de koppeling van de eventstore (waar al een issue voor is om die te upgraden https://github.com/kadaster-labs/sensrnet-registry-backend/issues/116) naar de sync en dan naar de multichain pod niet altijd goed draait. De sync wordt met regelmaat herstart omdat een connectie wegvalt. Dit moet beter worden en de oorzaak van het wegvallen moet onderzocht worden

marcvanandel commented 3 years ago

Hmm... de multichain node is niet helemaal stabiel. Dit haal ik uit de logging in de test env:

Start node with existing chain: SensRNet from <centralviewerIP>:8571
Chain SensRNet already exists, adding <centralviewerIP>:8571 to list of peers

Other nodes can connect to this node using:
multichaind SensRNet@<nodeIP>:8571

Node didn't shut down normally, performing recovery

Node ready.

This is recovery of the multichain process within the pod, right?

Deze logging zegt nog weinig over wat er nu fout gaat. Heb jij een idee, @kad-floriw ?

Bovenstaande maakt dat de sync stopt en opnieuw gestart wordt door Kubernetes:

[Nest] 1   - 07/20/2021, 3:38:27 PM   [SensorDeviceMultiChainProducer] Failed to retrieve blockchain addresses connect ECONNREFUSED 192.168.255.189:8570. Exiting.
kad-floriw commented 3 years ago

Yes dat is het recovery process binnen de pod. Dat krijg je als de vorige pod abrupt is afgesloten. Ik weet niet wat de oorzaak is van het abrupt afsluiten.

kad-busses commented 3 years ago

De melding is altijd zichtbaar wanneer de pod gestopt is en opnieuw wordt gestart. Zo krijg je 'm bijvoorbeeld ook altijd binnen Docker Compose te zien wanneer de main-node opnieuw gerund wordt.

In dit specifieke geval is de oorzaak is dat de Multichain deployment is geupdate naar de laatste versie 😉

marcvanandel commented 2 years ago

Zou de Sync pod direct down moeten gaan of kan dat wat vriendelijker?