Finish metrics

[RouxRC]

extract data from opendata sénat early (like in merge.py)

[mdamien]

Long-term goal is to have a easy to download file with all the stats for researchers

EDIT: with only promulgated texts for now as discussed

[boogheta]

Precision : we want two different files, one for stats on promulgated and for ongoing

[mdamien]

Ideas

• [ ] When we have relative values (%), also provide absolute values
• [ ] We can also add stats per-step of each text (ex: evolution of the number of articles)

[boogheta]

list of points discussed on various metrics:

• [x] ~handle the missing doslegs in senat export (for example: doing our own CSV export from their SQL database)~ (fixed by the senate)
• [x] look into why the count of doslegs in metrics is different from the one in la fabrique homepage
  • [x] mail for Senate (draft ready)
  • [x] automate fixing the Senate data

Adding new fields:

• [x] move "Initiative du texte" to "Nature du texte" a9b832552ccb2563204d4b268ada247b1858e036
• [x] reintroduce "Initative du texte" as "Gouvernement", "Assemblée nationale" ou "Sénat" deduced from "Nature du texte"
  • [x] add nb_etapes corresponding to etapes displayed on LFDLL (cf #109)
  • [x] distinguish final text size within parliament from promulgated (CC)
  • ~NOTE: We still have some data incoherency on this indicator~ pretty clean and censored articles indicators is even cleaner
    • [x] JO text annexe mis-parsed
    • [x] do not include "(Censuré)" in final size
    • [ ] "loi XXX du XXX" adding characters too
    • [ ] raise exception (:warning: still one case to be fixed by Légifrance)
  • [x] add indicators of censures CC
  • [x] nb_articles_totalement_censurés
  • [x] nb_articles_partiellement_censurés
  • [x] ~add nb_intervenants with actual long interventions (remove invectiveurs only)~ deja filtré dans prepare_interventions

Ideas of new fields to dicuss:

• [ ] add nb_amdmts_adoptes_1ere_lecture in each room for olivier ?
• [ ] add nombre de jours de séances en plus de nb de seances
• [x] Number of alineas final/initial
• [x] handle ratios augmentation tailles suivant une formule (new - old)/old
  • [x] caractères
  • [x] alinéas
  • [x] articles
• [x]  for now we filter on "date initale", maybe we should filter on "date de promulgation"

Removing existing fields:

• [x] deactivate for now (or check and confirm) nb_signataires_JO
• [x] deactivate for now CC_size

To be integrated into compute_stats

• [ ] initiative du texte
• [ ] type de dossier (accord, budgétaire,..)
• [ ] CMP type

[boogheta]

Notes Réunion 20/11

NB Etapes

• nombre de dépots dans une institution (CMP = 1, AN = 1, Sénat = 1, CC = 1, Congrès = 1)
• nombre de textes
• nombre d'erreurs

ANNEE FIN

TAILLES initiale / finale avant saisine /finale = finale avant saisine x en caractères / mots / articles

RATIO TAILLE (finale finale - initiale) en caractères / mots / articles

RATIO DIFF TEXTE (finale finale - initiale)

AMENDEMENTS all / adoptés x discuté AN / Sénat x discuté en Commission / en Séance x from parl / from gouv

SEANCES limiter à seance AN / Sénat

INTERVENTIONS limiter à seance AN / Sénat

INTERVENANTS UNIQUES limiter à seance AN / Sénat

DERNIERE LECTURE

DERNIERE LECTURE AVEC CHAMBRE

REMOVE TEXTES CITES, KEEP NB

CHANGER DERNIERE COLONNE EN TEXTE MANQUANT (booléen)

PAGE METHODO:

• textes promulgués donc pas censures complètes
• infos sur amendements de commission
• infos sur les inte rventions

SUR METRIQUES : Ajouter des lignes de médianes/moyennes par Législature (Défini par année) sans accords

[mdamien]

J'ajoute aussi une colonne qui donne la législature durant laquelle le texte à été promulgué comme discuté.

J'ai aussi proposé une colonne qui indique le nombre de dépôts initiaux multiples aussi, je le met en bonus.

Le nombre d'étapes calculé aujourd'hui est aussi supprimé vu qu'elle n'est pas claire.

[mdamien]

Colonnes à ajouter:

• [x] Année de promulgation
• [x] Législature de promulgation
• [x] Nombre de propositions de loi rattachées
• [x] Nombre de dépôts dans une institution
• [x] Nombre de textes produits (correspond au nombre de colonnes dans La Fabrique)
• [x] Nombre initial de mots
• [x] Nombre final de mots
• [x] Nombre de mots avant saisine
• [x] Nombre d'articles avant saisine
• [x] Croissance du nombre de mots
• [x] Croissance du nombre de caractères
• [x] Ajouter la variation Commission / Hémicycle pour les amendements
• [x] Dernière lecture avec chambre

Colonnes à modifier:

• [x] Seances/Interventions/Intervenants/Mots: ne garder que les séances en hémicycle
• [x] "Source données" -> "Texte manquant" (oui/non)
• [x] "Nature du texte" devient "Institution de dépôt"

Colonnes à renommer:

• [x] Taille Initiale -> Nombre initial de caractères
• [x] Taille Finale -> Nombre final de caractères
• [x] Taille du texte avant censure du CC -> Nombre de caractères avant saisine

Colonnes à supprimer:

• [x] Etapes de la procédure (ancien calcul)

[mdamien]

And...done ! I opened another issue for another related long-term goal: #115