feat(pipeline) : Ajout d'un premier modèle pour monitorer la qualité des données

[vperron]

Première version d'un modèle de "qualité" qui permet d'afficher la qualité des données.

Output actuel sur les données du 22 Juillet:

data-inclusion=# SELECT * FROM public_intermediate.int_quality__stats ORDER BY source, stream;
        date         |        source         |         stream         | count_raw | count_stg | count_int | count_marts | count_api 
---------------------+-----------------------+------------------------+-----------+-----------+-----------+-------------+-----------
 2024-07-22 02:00:00 | action_logement       | services               |        26 |        23 |      2760 |        2760 |      2760
 2024-07-22 02:00:00 | action_logement       | structures             |       123 |       120 |       120 |         120 |       120
 2024-07-22 02:00:00 | agefiph               | services               |        31 |        31 |        27 |          27 |        27
 2024-07-22 02:00:00 | cd35                  | organisations          |      3545 |      3545 |      3545 |        3544 |      3540
 2024-07-22 02:00:00 | cd72                  | services               |       474 |       463 |       463 |         260 |         0
 2024-07-22 02:00:00 | cd72                  | structures             |       217 |       217 |       217 |         213 |       457
 2024-07-22 02:00:00 | data_inclusion        | services               |        47 |        44 |        44 |          44 |        44
 2024-07-22 02:00:00 | data_inclusion        | structures             |        22 |        19 |        19 |          19 |        19
 2024-07-22 02:00:00 | dora                  | services               |     17717 |     11707 |     11707 |       11036 |     11034
 2024-07-22 02:00:00 | dora                  | structures             |      8554 |      8554 |      8554 |        8545 |      8538
 2024-07-22 02:00:00 | emplois_de_linclusion | organisations          |      8589 |      8589 |     15824 |       15821 |     15821
 2024-07-22 02:00:00 | emplois_de_linclusion | siaes                  |      7235 |      7235 |     15824 |       15821 |     15821
 2024-07-22 02:00:00 | france_travail        | agences                |       888 |       888 |       888 |         888 |       886
 2024-07-22 02:00:00 | france_travail        | services               |        28 |        25 |     22200 |       22200 |     22150
 2024-07-22 02:00:00 | fredo                 | structures             |      1080 |      1080 |        -1 |           0 |         0
 2024-07-22 02:00:00 | mediation_numerique   | services               |     20798 |     19445 |     19445 |       19424 |     19417
 2024-07-22 02:00:00 | mediation_numerique   | structures             |     20798 |     19445 |     19445 |       19424 |     19417
 2024-07-22 02:00:00 | mes_aides             | aides                  |       690 |       690 |       960 |         947 |       916
 2024-07-22 02:00:00 | mes_aides             | garages                |       908 |       908 |       870 |         863 |       847
 2024-07-22 02:00:00 | monenfant             | creches                |     84597 |     13481 |     13481 |       13479 |     13466
 2024-07-22 02:00:00 | odspep                | DD009_RES_PARTENARIALE |     28262 |        -1 |      6438 |        6428 |      6329
 2024-07-22 02:00:00 | reseau_alpha          | formations             |       388 |       388 |       388 |         388 |       297
 2024-07-22 02:00:00 | reseau_alpha          | structures             |       757 |       757 |       757 |         752 |       752
 2024-07-22 02:00:00 | soliguide             | lieux                  |     22028 |     22028 |     22028 |       22028 |     21980
 2024-07-22 02:00:00 | un_jeune_une_solution | benefits               |       974 |       974 |        -1 |           0 |         0
 2024-07-22 02:00:00 | un_jeune_une_solution | institutions           |       713 |       713 |        -1 |           0 |         0
(26 rows)

Il n'y a plus trop de bizarreries, mais il reste un petit souci sur les données API du CD72 puisque le fix est dans cette PR ^^

Comme d'habitude, il vaut vraiment mieux relire dans l'ordre et commit par commit, ils sont théoriquement tous atomiques et indépendants. Les 4 premiers sont plutôt utilitaires/nettoyage.

Le modèle int_quality__stats est "intermédiaire" car:

• ce n'est pas une donnée finale au sens "des consommateurs vont l'utiliser"
• les modèles dans marts ont une obligation de respect d'un contrat de données

Si cela convient dans les grandes lignes, je propose les étapes suivantes:

• ajout de colonnes supplémentaires pour le décompte des données importantes (contacts, adresse, etc)
• historisation (faisable en quelques minutes via snapshot sur la colonne de date)
• ajout en étape finale au DAG main (ou au DAG import_data_inclusion_api pour que les données API soient celles du jour et pas J-1?)