feat(catalog_db): add trigger and listener to database events - [merged] #116

Closed benoitdm-oslandia closed 1 year ago

In GitLab by @azarz on Oct 10, 2022, 16:00

Merges feature/listen-notify -> develop

close #50

In GitLab by @azarz on Oct 11, 2022, 16:58

added 1 commit

bf10edd2 - feat(catalog_db): Add triggers to included tables after insert or update or delete

Compare with previous version

In GitLab by @azarz on Oct 11, 2022, 17:02

added 1 commit

994d247e - feat(catalog_db): Add triggers to included tables after insert or update or delete

Compare with previous version

In GitLab by @azarz on Oct 11, 2022, 17:44

added 1 commit

b445f39f - feat(catalog_db): listen to channel in goroutine

Compare with previous version

merge les 2 if ensemble stp

est ce qu'on ne pourrait pas faire un type de donnée plutot ?

on n'ajoute pas le notificationInterface["new_xmin"] dans le cache dans le cas de l'insert ?

je pense que le code généré ne passera pas avec une table qui contient des caractères spéciaux

la go func qui fait le listen, comment est ce qu'on l'arrête ?

typo: est ce que ce block pourrait etre indenté plus vers la gauche ?

j'y pense, les objets que l'on crée devraient être dans un schema specifiable ... je pense à certains clients que ne veulent pas avoir des trucs temporaires qui polluent leur base. Quitte à créer un schéma 'pg_featureserv' par défaut. pour la gestion du parametre de conf on verra plus tard

Top @azarz ! As tu une idée pour le test ?

In GitLab by @azarz on Oct 12, 2022, 10:11

Commented on internal/data/catalog_db.go line 103

Oui, vu qu'a priori on connaît la structure de la notification.

In GitLab by @azarz on Oct 12, 2022, 10:11

Commented on internal/data/catalog_db.go line 111

Oups, oubli de ma part

In GitLab by @azarz on Oct 12, 2022, 10:14

Commented on internal/data/catalog_db.go line 609

caratères UTF-8 "exotiques" (kanji...) ou bien caractères du type ;, ., ' ? Dans le 2e cas en effet c'est sûr que ça ne passe pas, mais peut-on se retrouver dans ce cas ? Dans le 1er cas, ce sera à tester avec #54 , non ?

In GitLab by @azarz on Oct 12, 2022, 10:15

Commented on internal/data/catalog_db.go line 220

Bonne question, je regarde ça, parce qu'en l'état pas sûr que la goroutine se stoppe en effet

In GitLab by @azarz on Oct 12, 2022, 10:22

Pour faire le test je pense que j'ai besoin des fonctions spécifiques du cache (branche de Nicolas) pour vérifier qu'il a bien été mis à jour : Test :

réaliser un create (requête POST)
vérifier que le cache a une entrée supplémentaire
réaliser un update our replace (PATCH ou PUT)
vérifier que le cache a été modifié
réaliser un delete
vérifier que le cache a une entrée de moins

Pour "vérifier que le cache xxx", je ne sais pas comment faire en l'état, c'est pour ça que je pense que j'ai besoin des devs de @nrevelant

ok ! alors, à ajouter dans la #54 : https://www.postgresql.org/docs/current/sql-syntax-lexical.html#SQL-SYNTAX-IDENTIFIERS

In GitLab by @azarz on Oct 12, 2022, 11:01

Commented on internal/data/catalog_db.go line 111

En fait si, c'est fait ligne 113 :

Si ce n'est pas un INSERT, on supprime l'ancienne entrée du cache,

Après, si ce n'est pas un DELETE, on ajoute la nouvelle entrée au cache

In GitLab by @azarz on Oct 12, 2022, 11:07

Commented on internal/data/db_sql.go line 101

On crée un schema pg_featureserv à l'intitialisation du catalog_db, on met les trucs temporaires dedans (pour l'instant juste cette fonction), et au moment de fermer le catalogue, on fait un DROP SCHEMA CASCADE ?

ok !! c'est perturbant les != :) Est ce que tu peux le ré écrire avec des == ? (stp)

oui par exemple !

In GitLab by @azarz on Oct 12, 2022, 11:13

Commented on internal/data/catalog_db.go line 111

J'aimais bien les != parce que dans le cas du UPDATE on fait les 2 opérations, l'écriture des == est légèrement plus lourde : on passe de

if notificationInterface["action"] != "INSERT" {

à

if notificationInterface["action"] == "DELETE" || notificationInterface["action"] == "UPDATE" {

C'est grave ?

ca me parait plus clair avec les == et comme ca on voit bien les types d'action concernés