Charger les données depuis les fichiers XML de CA issus de Totem

DavidBruant commented 6 years ago

Les fichiers CEDI sont plus ou moins une invention spécifique au Département de la Gironde. Ils ont quelques problèmes ( #117 ). Au-delà de ça, ils ne sont pas interopérables avec ce que d'autres Départements/collectivités locales pourraient libérer en open data.

Il existe cependant un fichier issu du logiciel Totem http://odm-budgetaire.org/ Ce fichier XML est standard, est maintenu et documenté et a des XML Schema. Il s'agit du fichier envoyé à la DGCL

Si les Départements et collectivités territoriales devaient libérer ce fichier, il faudrait que ça soit celui-ci. Si le code de ce repo veut être facilement applicable à d'autres collectivités, il faudrait qu'il se base sur ces fichiers.

DavidBruant commented 6 years ago

Pour ce refactoring, il faut faire les choses suivantes :

[x] Faire un outil open source indépendant qui permet d'anonymiser les fichiers (enlever les noms de personnes physiques, mais garder quand même les montants. Il s'agit peut-être des éléments <DATA_CONCOURS><CONCOURS></></> avec <CodNatJurBenefCA V="P3"/>. C'est même sûr)
[x] Mettre en open data les fichiers Totem des CA de 2012 à 2016
[x] Vérifier avec quelqu'un du métier que l'on peut bien retrouver ce qui est du fonctionnement et de l'investissement en mélangeant avec le plan de compte de la bonne année (attention aux années). Trouver comment distinguer les F des I si cette méthode ne marche pas.
[x] (étape intermédiaire pour se rassurer) faire un outil open source indépendant qui recréé les fichiers CEDI et vérifier qu'on arrive exactement aux mêmes lignes au moins pour les opérations réelles (OR). Passer le temps nécessaire à débugger
[x] Faire un outil open source indépendant qui, pour un fichier Totem créé le même 1. sans les annexes 2. peut-être qui simplifie les lignes budgétaires
[x] Refactorer le code pour qu'il charge ces fichiers sans annexes + plans de comptes et soit iso-fonctionnel

DavidBruant commented 6 years ago

Refactoring :

[x] Ajouter des tests sur les montants
[x] Faire passer les tests avec le fichier issu des XML
[x] Mettre à jour le format des corrections

DavidBruant commented 6 years ago

[x] Corriger l'outil métier pour qu'il se base sur les fichiers XML (dont drag and drop)
[x] Corriger le code de l'outil public pour qu'il se base sur le JSON minimaliste généré

DavidBruant commented 6 years ago

[
  { Nature: '001',
    Fonction: '01',
    ContNat: '001',
    ArtSpe: 'false',
    CodRD: 'D',
    MtReal: '51327004.56',
    OpBudg: '0' },
  { Nature: '002',
    Fonction: '0202',
    ContNat: '002',
    ArtSpe: 'false',
    CodRD: 'R',
    MtReal: '5335668.11',
    OpBudg: '0' }
]

Ces lignes sont des reports des années précédentes. A exclure

akakeronos commented 6 years ago

Voilà le fichier test pour le CA 2017 en xml totem https://www.voisinville.in/index.php/s/YY29aJ3I16DrQLk

datalocale / dataviz-finances-gironde

Charger les données depuis les fichiers XML de CA issus de Totem #352