Agrégation des données des avis pour remplacer tous les usages qui calculent aujourd'hui ces données à partir des avis détaillés

[lucaa]

Aujourd'hui tous les fonctionnalités qui affichent des données synthétiques sur les avis les calculent en direct sur la base des données détaillées des avis, à l'exception des observatoires qui utilisent un cache sur disk ( #866 ) .

Ces fonctionnalités incluent:

• l'affichage des graphes d'une démarche non top250 ou pour une période qui n'est pas la période d'un observatoire
• tous les écrans de synthese des avis à destination des administrateurs
• les calculs des observatoires - les données pour l'observatoire lui-même mais aussi les caches pour les graphes des démarches
• tous les calculs des données d'evolution des démarches à destination des administrateurs.

Cette tâche est pour mettre en place un stockage de données agrégées des avis d'une démarche ainsi que le mécanisme de calcul de ces données, pour pouvoir ensuite facilement utiliser les données agrégées pour tous ces fonctionnalités pour les rendre plus rapides, ainsi qu'ajouter des nouvelles fonctionnalités.

La granularité des agrégats qui est suffisante pour répondre aux besoins des écrans ci-dessous est la journée: une entrée dans la base d’agrégats pour chaque jour.

Certaines données des avis ne sont pas "agrégables", plus précisément les données libres à remplir par l'utilisateur (le verbatim ainsi que les 2 champs "autre" des questions sur les aides et les difficultés rencontrées). Le maximum qui pourra être fait est de compter le nombre d'avis qui ont une valeur remplie ou pas pour ces champs libres - à décider si ça sera fait dans la première version ou pas.

La re-ecriture des fonctionnalités existantes pour utiliser les agrégats ne fait pas partie de cette tâche, il faudra créer des tâches individuelles pour chacune des fonctionnalités remplacées.

[lucaa]

Avertissement au démarrage du wiki pour le modèle de données hibernate:

2022-08-05 17:57:39,660 [XWiki initialization] WARN  o.h.m.RootClass                - composite-id class does not override equals(): com.xwiki.projects.dinsic.wikidemarches.aggregates.AvisAggregateByDay 
2022-08-05 17:57:39,661 [XWiki initialization] WARN  o.h.m.RootClass                - composite-id class does not override hashCode(): com.xwiki.projects.dinsic.wikidemarches.aggregates.AvisAggregateByDay 

à évaluer les consequences et à implémenter.

[lucaa]

Le scripts de calcul des agrégats ainsi que les APIs d'accès aux données ont été mis en production.

Il manque, par contre, les instructions propres de déploiement.

Je laisse la tâche ouverte pour finaliser ces instructions.

[lucaa]

J'ai ajouté les instructions s'installation ainsi:

• Une modification dans hibernate.cfg.xml marquée dans la section de configuration du war: https://github.com/DISIC/observatoire/wiki/Instructions-d'installation-v-5.x#mise-en-place-du-war
• La mise en place des scripts pour la modification de la base de données dans https://github.com/DISIC/observatoire/wiki/Instructions-d'installation-v-5.x#mise-en-place-des-ressources-pour-le-calcul-des-donn%C3%A9es-agr%C3%A9g%C3%A9es-des-avis .

Des instructions séparées pour la version 5.x ont été créé à cette occasion, ce qui a permis de simplifier les instructions (car des opérations nécessaires pour des versions intermédiaires de la 4.x ne sont plus necessaires pour la version 5.x . Aussi, les instructions d'installation ont été traduites en français et les instructions pour l'import des données ont été isolées dans un document séparé.

[lucaa]

Quelques notes sur l'implémentation:

• aujourd'hui la tâche périodique de mise à jour des données tourne toutes les minutes
  • la fréquence peut être baissé jusqu'à 1 fois par jour (même une fois tous les 2 jours)
  • ce script efface les données agrégées des 2 derniers jours et les recalcule ensuite.

La tâche #1183 a été créée pour décider la fréquence d’exécution idéale.

Opérationnellement:

• si la tâche périodique ne tournent pas pendant 3 jours il y a des données non calculées pour les jours en question
  • il est possible de re-lancer le calcul pour le mois
  • à vérifier s'il y a besoin d'effacer ou pas
• il n'y a pas, pour l'instant, de mécanisme pour vérifier l'intégrité - qu'effectivement les données agrégés stockées correspondent aux données détaillées,
  • ces données sont un cache des données agrégées, donc il n'y a pas de criticité de l'imprécision de la data autre que l'impact fonctionnel (écrans qui utilisent les data),
  • s'il y a des bugs ou des problèmes d’exécution (?) qui font que des données incorrectes sont stockées, cette inadvertance pourra être découverte uniquement à l'affichage des données, sur les écrans/fonctionnalités qui les utilisent.

Note: suite à la mise en place des agrégats, les opérations suivantes (qui ont été faites sur les données dans le passé) ne sont plus possibles telles quelles (car elles impactent la correctitude des données agrégées):

• supprimer des avis d'une démarche,
• déplacer des avis d'une démarche vers une autre.

[lucaa]

Note: suite à la mise en place des agrégats, les opérations suivantes (qui ont été faites sur les données dans le passé) ne sont plus possibles telles quelles (car elles impactent la correctitude des données agrégées):

Plus précisément, les scripts d'administration des avis qui modifient les données des avis (effacement et réaffectation) ne mettent pas à jour les données agrégées qui ont été déjà calculées à base de ces avis. Ainsi, ces scripts peuvent introduire des inconsistances entre les données détaillées des avis et les données affichées à l'écran pour les usages suivants:

• observatoire - si les données modifiées sont liées à une ou plusieurs démarches du Top250 et la modification concerne une période déjà captée par un observatoire publié, les données de l'observatoire ne vont pas être mises à jour automatiquement pour prendre en compte le changement des données des avis;
• données agrégées - tous les écrans qui affichent et fonctionnalités qui utilisent des données agrégées des avis d'une démarche (graphes, etc.) seront faux suite à une opération sur les avis, effacement ou réaffectation, car les données agrégées ne seront pas mises à jour automatiquement pour correspondre aux données détaillées modifiées.

Ainsi, l'utilisation de ces scripts est désormais déconseillée. Néanmoins, si ces opérations sont nécessaires, il faut prévoir une mise à jour des données agrégées (manuelle ou par un autre script à créer) et d'observatoire.

cc @jrenauxdinum @AnthonyBrunelli

Des avertissements expliquant cette situation ont été mis en place sur les écrans de ces opérations.

[lucaa]

Suite à l'écriture des instructions & documentation, je ferme cette tâche. Les mises à jour des fonctionnalités pour utiliser les agrégats sont couvertes par les autres tâches liées.

[lucaa]

Re-ouverture du ticket car le script pour mettre à jour les données au fur et à mesure a un bug qui fait qu'il ne prend pas en compte tous les avis pour les comptages des aides et difficultés.

[lucaa]

Le problème était lié au script de mise à jour périodique des donnés, qui:

• effaçait à chaque fois les données agrégées du jour courant et jour précédent
• recalculait des comptages jusqu'à 2 jours avant le moment de l'execution du script (jour courant jusqu'au moment de l'execution, jour précédent et un bout du jour d'avant)
• prenait en compte des jours "partiels", en fonction de l'heure à laquelle le recalcul avait lieu; l'heure de l'ajout de l'avis était pris en compte dans le filtrage, ce qu'il fait que pour le jour d'avant le jour précédent uniquement une partie des avis étaient comptés
• mettait à jour les données agrégées ainsi:
  • pour toutes les informations sauf comptages des aides et difficultés, la data était mise en base uniquement si elle n'existait pas dans la base
  • pour les comptages d'aides et difficultés, la data était mise à jour tous le temps avec le résultat du calcul.

Cette dernière opération faisait que, à chaque calcul fait le jour j, les informations d'aides et difficultés du jour j-2 était remplacés avec des données partielles qui ne prenaient pas en compte toute la journée j-2.

Le correctif mis en place change le critère de selection des avis pris en compte dans les comptages pour les filtrer par leur date en prenant en compte uniquement le jour, sans l'heure de l'avis. Ainsi, les comptages comptent toujours des jours entiers et quelque soit la politique de remplacement de valeurs, des valeurs complètes seront prises en compte.

[lucaa]

Quelques scripts de calcul ne sont pas utilisés, je rouvre cette tâche pour supprimer ces scripts pour garder uniquement les scripts necessaires.

[lucaa]

Les scripts suivants ont été supprimés:

• createtable.sql - maintenant géré par le mapping hibernate
• calcupdate.sql et calcupdatebymonth.sh qui ont été créés pour une version intérmediaire ou les agrégats pour les aides et difficultés ont été calculés dans un deuxième temps, d'où la necessité de ces scripts.