Rapport d'avancement du projet

Changaco commented 7 years ago

Je viens de passer deux semaines à améliorer legi.py, voici un résumé des changements :

schéma SQL : améliorations et regroupement dans un fichier dédié (schema.sql)
correction de la "factorisation" des textes
anomalies : détection des articles et sections qui n'apparaissent dans aucun texte (orphelins)
anomalies : meilleur gestion des dates permettant une détection rétroactive des anomalies et diminuant les erreurs transitoires
tar2sqlite prend désormais comme argument un dossier et détecte dans celui-ci les archives qu'il n'a pas encore traité
le projet est désormais structuré autour d'un module nommé legi plutôt qu'en scripts séparés
il peut être empaqueté (https://pypi.python.org/pypi/legi est réservé mais il n'y a pas encore de première version publiée)
test du code : tox, flake8, et Travis CI sont opérationnels

Enfin, il y a désormais une page publique montrant les anomalies détectées dans LEGI : http://anomalies.legilibre.fr/. Le code qui la génère est dans le nouveau dossier cron/ du dépôt.

Changaco commented 7 years ago

Je viens de publier la version 0.1 de legi.py.

le README est désormais plus complet
la détection des espaces manquantes dans les titres a été étendue
la normalisation de cette anomalie a été similairement étendue
la prise en charge du téléchargement des archives depuis le FTP a été ajoutée, pour l'instant via un simple wget
la normalisation des titres sauvegarde désormais les données d'origine dans une table dédiée
le schéma SQL est désormais migré automatiquement

fgallaire commented 7 years ago

Coucou @Changaco, je crois que j'ai déjà émis l'idée quelque part mais je ne me souviens plus où... Plutôt que de fournir les fichiers d'anomalies sur un ftp, que penserais-tu d'un dépôt Git ?

Changaco commented 7 years ago

@fgallaire J'en pense que ce n'est pas une priorité. Les fichiers d'anomalies sont avant tout pour la DILA, s'ils souhaitent que je les livre autrement ils savent comment me contacter.

Changaco commented 7 years ago

Je viens de recréer ma base SQLite et les listes d'anomalies à partir de l'archive globale du 2 mars. Résultat : le nombre a chuté de 3303 à 890.

Conclusion : il y a un bug quelque part, soit dans legi.py, soit dans le code de la DILA qui génère les archives incrémentales.

Changaco commented 6 years ago

Je viens de publier la version 0.2 de legi.py: https://github.com/Legilibre/legi.py/releases/tag/0.2

Changaco commented 6 years ago

La version 0.3 est arrivée : https://github.com/Legilibre/legi.py/releases/tag/0.3

Changaco commented 5 years ago

J'ai créé une version 0.3.1 qui sera la dernière compatible avec python 2.7 : https://github.com/Legilibre/legi.py/releases/tag/0.3.1

Legilibre / legi.py

Rapport d'avancement du projet #3