Migrer les barèmes IPP des fichiers Excel vers le format YAML des paramètres openfisca

benjello commented 6 years ago

Contexte:

L'IPP est convaincu qu'une source unique de vérité des paramètres de législation serait très utile en général et notamment pour le projet openfisca. L'IPP est également convaincu que le format Excel n'est pas adapté au contrôle de version ni à l'édition collaborative et à un suivi des validations.

Cependant les barèmes IPP actuels présentaient les avantages suivants:

Les paramètres sont rassemblés par types qui font sens pour les consommateurs
Ils sont sourcés (référence législatives) et accompagnées de notes utiles
Une majorité des consommateurs des barèmes IPP apprécient le format Excel
Ce dernier point n'est pas étranger aux nombreux retours et suggestions d'améliorations (qui arrivent parfois sous forme de fichiers excel amendés)

Proposition:

Migrer les Barèmes IPP Excel vers des fichiers YAML de parmaètres openfisca.
Améliorer le format pour qu'il puisse contenir toute l'information fournie par les Barèmes IPP.
Fournir un moyen de consommer les paramètres sous forme de fichiers csv et/ou Excel.
Explorer l'élaboration d'une interface d'édition/signalement d'erreur des paramètres pour les consommateurs avancés.
L'IPP produira sa "vue" des Barèmes IPP sur sont site pour reproduire les divisions thématiques présentes dans les fichiers Excel afin de préserver cette valeur ajoutée et ne pas dérouter ses consommateurs actuels.

Proposition de Roadmap

Améliorer le format YAML openfisca-parameters pour inclure les champ références législatives, Parution au JO, notes etc (communauté + IPP)
parser entièrement tous les barèmes IPP (communauté + IPP)
explorer the améliorations des fonctionnalités des paramètres IPP afin de permettre le téléchargement de séries sous divers formats etc (communauté + IPP)
élaboration de la vue IPP pour remplacer définitivement les fichiers Excel (IPP)

Questions à régler:

Généralement un feuillet rassemble plusieurs paramètres qui sont organisés en colonnes. Chaque ligne est une date de changement d'au moins un paramètres et contient une ou plusieurs références législatives. L'extraction des dates de changement par paramètres et de la bonne référence législatives n'est donc pas évident.

Autres références:

852
837

Commentaires bienvenus ! @maukoquiroga @Anna-Livia @sandcha @guillett @fpagnoux

tfrancart commented 6 years ago

Bonjour

Il est possible d'utiliser les références ELI (European Legislation Identifier) pour référencer des textes ou des articles de texte sur Légifrance. Ces références peuvent la plupart du temps se calculer à partir de la référence législative dans les fichiers XLS des barêmes IPP :

Pour prendre un exemple, dans https://www.ipp.eu/outils/baremes-ipp/prelevements-sociaux/, onglet "CSG-ACTIVITE", ligne 5 : "Loi 2010-1594 du 20/12/2010, art. 20 (LFSS pour 2011)" se transforme assez directement en https://www.legifrance.gouv.fr/eli/loi/2010/12/20/2010-1594/jo/article_20, qui donne directement accès à l'article. La forme des références ELI pour Legifrance, documentée à http://www.eli.fr/fr/constructionURI.html, est ..../eli/{type du texte}/{annee}/{mois}/{jour}/{numéro de texte}/jo/article_{numero}. On peut omettre la dernière partie "article_xxx" pour avoir accès au texte entier (https://www.legifrance.gouv.fr/eli/loi/2010/12/20/2010-1594/jo).

Si les colonnes du tableau Excel sont remplies avec des références juridiques écrites d'une façon cohérente, une série d'expressions régulières ou d'extraction simples devraient permettre de générer les ELI correspondants. On peut ensuite faire une seconde passe pour tester que les URI générées ne renvoient pas une erreur.

tfrancart commented 6 years ago

Plus d'infos sur ELI :

guillett commented 6 years ago

@tfrancart c'est vraiment top !

En pratique j'ai voulu utiliser ce format pour référencer le décret suivant, sans succès…

Sais-tu quel est le périmètre pour lequel ces liens ELI sont disponibles ? Merci !

tfrancart commented 6 years ago

En ce qui concerne Legifrance "ELI est implémenté sur les textes législatifs et règlementaires publiés depuis le 01/01/2002" (Trouvé à http://www.eli.fr/fr/constructionURI.html)

guillett commented 6 years ago

@tfrancart merci beaucoup pour cette rapide réponse.

J'ai cherché davantage pour avoir le bon URI de l'article R351-5 du Code de la construction et de l'habitation.

Suis-je encore passé à côté ?

Merci d'avance.

tfrancart commented 6 years ago

ELI ne s'applique pas (encore ?) aux codes. Le ELI sert à identifier les lois publiées au JO; ces textes pouvant ensuite être intégrés dans des codes. Mais tout ce qui est code et lois consolidées ne sont pas encore identifiés par des ELI.

guillett commented 6 years ago

Ok, merci pour cette nouvelle clarification.

fpagnoux commented 6 years ago

Pour en revenir à la fusion barèmes IPP/barèmes OpenFisca:

Comme @benjello, je suis convaincu qu'il y a un gros intérêt à effectuer cette fusion. Je suis en phase avec la Proposition de l'état final vers lequel on veut aller. Maintenant, toute la difficulté va être dans le chemin pour y arriver...

L'étape qui consiste à améliorer le format YAML openfisca pour inclure les champs propres à l'IPP ne devrait pas poser trop de problèmes.

Le parsing des paramètres IPP en OpenFisca est par contre loin d'être trivial. Beaucoup d'efforts ont déjà été déployés pour construire des scripts qui permettent de passer des fichiers excels à YAML.

En pratique, ces scripts sont peu voir jamais utilisés. Quelques raisons:

Ces scripts sont difficiles à comprendre, et donc difficiles à maintenir
Les technologies employées sont lourdes, et jusqu'à présent ne fonctionnent pas sous mac
Les scripts n'ont pas été adaptés à une grosse évolution d'OpenFisca: le passage de XML vers YAML. Une PR est ouverte: https://github.com/openfisca/openfisca-france/pull/837
Les scripts tendent à casser dès que la structure des fichiers excel évolue. Il est en effet nécessaire de maintenir une fonction assez longue qui transforme l'arbre IPP en arbre OpenFisca.
Pas mal de problèmes du fait que les tables excel ne sont pas vraiment structurées (voir le commentaire de Michel sur https://github.com/openfisca/openfisca-france/issues/820)

J'ai l'impression que si on veut avancer il faut que les deux formats commencent à se rapprocher:

Se mettre d'accord sur un même arbre global (au moins sur les plus grosses branches) pour réduire la logique de transformation d'arbre. Cela permettrait aussi de remettre un peu à plat l'arbre des paramètres, qui n'est pas toujours idéal.
Faire évoluer le format IPP vers un excel qui soit un peu plus standard et structuré, via notamment ce que proposait Michel (uniformisation de mot clés, peut être ajout de cellules invisibles contenant des métadonnées techniques qui aident au parsing, etc.)

Je regarde ça d'un peu plus près.

fpagnoux commented 6 years ago

Ok, j'ai pris une journée pour regarder ce qu'on peut faire de ces fichiers XLSX.

Je me suis basé sur les explorations qu'avait fait @michelbl, et j'ai pu faire un POC qui prend un fichier de paramètre XLSX et qui en fait un répertoire qui contient des paramètres YAML au format OpenFisca. C'est ici.

Quelques remarques :

Je suppose que les XLSX en entrée sont un minimum structurés (plus précisément, qu'il y a une ligne de header qui m'indique ce que représentent les colonnes). Cette structure peut s'ajouter facilement sans modifier l'apparence des fichiers excel, et l'ajout des headers peut être en partie automatisé.
En sortie, j'ai un arbre de paramètre qui est celui défini par les fichiers IPP, et donc qui n'est pas le même que celui d'OpenFisca-France, mais qui est parfaitement compréhensible par OpenFisca.

À partir de là, si on voulait aller plus loin:

Je n'ai pas trop de doute sur le fait qu'on puisse fusionner bêtement les deux arbres. Si on le faisait maintenant, ça nous donnerait une grosse base de paramètre qui contiendrait beaucoup de doublons, sans grand intérêt.
Par contre, si on fait au préalable un effort pour uniformiser les deux arbres de paramètres, ça devient plus intéressant : le résultat du parsing d'un fichier excel serait alors quasiment identique à une branche des paramètres OpenFisca France. En mergeant les deux arbres, OpenFisca pourra bénéficier des mises à jour IPP (et on aura résolu le vieux problème de l'import, sans avoir de fonction monstrueuse à maintenir pour convertir un arbre en l'autre).
Au passage, on aura fait un grand pas en avant vers la sortie d'excel de l'IPP, puisqu'on on aura aligné le contenu des deux bases. Restera alors à trouver un moyen de générer une vue "excel like" pour les clients de l'IPP (soit en Web, soit en générant dynamiquement des excels à partir des YAML).

@benjello je te laisse regarder ça 🙂

benjello commented 6 years ago

Bravo @fpagnoux. Il y a deux points qui sont important et qui ont été partiellement traités dans les précédents scripts:

le réagencement de l'arbre brut issu du parsing des fichiers excel IPP pour coller à l'arborescence openfisca et/ou en crée un nouvelle comme cela était réalisé ici
la conversion vers les bons types de paramètres (barèmes etc) possible aussi avec le script mentionné ci-dessus.

Je regarde cela ASAP.

fpagnoux commented 6 years ago

le réagencement de l'arbre brut issu du parsing des fichiers excel IPP pour coller à l'arborescence openfisca et/ou en crée un nouvelle comme cela était réalisé ici

Justement, je pense que cette part du travail est par essence très fragile: dès qu'on change quelque chose d'un côté ou de l'autre, les scripts cassent. Je pense qu'on a plus à gagner à faire converger les arbres.

benjello commented 6 years ago

Oui bien sûr. Mais ce travail là permet d'aider à réaliser la première convergence des arbres (ou les convergences successives) avant d'atteindre l'arbre final.

benjello commented 6 years ago

@fpagnoux :

j'ai jetté un oeil et c'est super de pouvoir s'affranchir de gnumeric et de traiter directement le xlsx avec python (ce n'était pas possible à l'époque de la créaion des parsers qui se trouvent ici
la première ligne cachée est en fait utilisé pour donner les noms de l'ancien modèle taxipp et notamment traités par ce parser.
les noms retenus pour openfisca viennent de la slugification des label des colonnes
je pense que cela vaudrait le coup d'essayer de récupérer cette partie du traitepent dans les anciens parseurs ainsi que l'utilisation des transformations de l'arbre.

Qu'en penses-tu ?

fpagnoux commented 6 years ago

la première ligne cachée est en fait utilisé pour donner les noms de l'ancien modèle taxipp et notamment traités par ce parser. les noms retenus pour openfisca viennent de la slugification des label des colonnes

Ok, si cette première ligne est un code qui correspond à autre chose et qui doit rester inchangée, alors on peut ajouter une seconde ligne. Mais je ne pense pas que ce soit une bonne idée de se baser sur de la slugification: ça donne des noms à rallonge (cf les problèmes qu'on avait eu sur la longueur du path), et ça fait un changement de l'arbre à chaque micro-évolution de la case Excel (correction de faute d'orthographe...).

Après, si on veut avoir quelque chose qui fonctionne rapidement, on peut automatiquement donner à chaque colonne le nom slugifié de son label, mais je vois ça plus comme un pré-traitement initial que quelque chose à intégrer au process normal.

On pourrait essayer en effet de refaire fonctionner la transformation de l'arbre. Aux dernière nouvelles, elle ne fonctionnait pas, mais il suffit peut être de pas grand chose pour la réparer.

benjello commented 6 years ago

@fpagnoux :

je suis d'accord que certains noms doivent être changés mais on peut le faire dans la transformation de l'arbre
normalement si on switche vraiment ce sera les paramètres yaml à la openfisca qui seront la source de vérité . Le point important est donc de s'assurer que l'on arrive à vraiment faire basculer l'IPP. Certes je pense comme toi que l'on sera amené à parser plus d'une fois les barèmes mais qui sait, si on arrive à bien anticiper les problèmes peut-être que l'on arrivera à tout faire en une fois.

guillett commented 6 years ago

@fpagnoux, @benjello, une fois qu'OpenFisca sera la source de vérité, faudra-il être capable de générer des fichiers Excel avec les paramètres de la législation ?

Je dirais que oui. Si c'est le cas, cette extraction serait donc, selon moi, un sujet prioritaire. Cela permettrait de modifier (normaliser) les fichiers IPP actuels et les re-construire de façon automatique progressivement).

Note : Question faisant suite à une discussion IRL avec @maukoquiroga et @sandcha.

benjello commented 6 years ago

@guillett : on veut pouvoir avoir des "vues" établies par l'IPP sur les paramètres en forme tableaux bi-dim qui peuvent s'exporter en excel et donc regénérer les barèmes IPP à partir des paramètres. En gros on veut pouvoir créer une arborescence qui n'est pas forcément celle des paramètres openfisca mais on va essayer de ne pas trop s'en éloigner.

Morendil commented 6 years ago

Je ferme en faveur de #1164

openfisca / openfisca-france

Migrer les barèmes IPP des fichiers Excel vers le format YAML des paramètres openfisca #905

852

837