Normalisez le titre et l'objet

[billmetangmo]

https://docs.python.org/3/library/textwrap.html#textwrap.dedent https://github.com/wolfgarbe/SymSpell https://github.com/jfilter/clean-text https://ftfy.readthedocs.io/en/v6.0/ https://github.com/maxbachmann/RapidFuzz

[billmetangmo]

Tâche absolument nécessaire car datasette-lite ( refers to https://github.com/mongulu-cm/tchoung-te/issues/9#issuecomment-1175258469 ) ne peut pas charger le CSV à cause des "" qui traînent dans le texte. Il en est de même pour tablerow.

[billmetangmo]

• Titre tout en majuscule
• Objet en miniscule
• Les espaces de trop
• Supprimer les guillements en trop

[billmetangmo]

• Guillemets titre: https://flatgithub.com/mongulu-cm/tchoung-te/?filename=etl%2Frna-real-mars-2022-new.csv&filters=titre%3D%2522&sha=42e365e3e6ff520ff12b2637771f1d5bd81bb2cd&sort=&stickyColumnName=
• Guillemets objet: https://flatgithub.com/mongulu-cm/tchoung-te/?filename=etl%2Frna-real-mars-2022-new.csv&filters=objet%3D%2522&sha=42e365e3e6ff520ff12b2637771f1d5bd81bb2cd&sort=&stickyColumnName=

[KameniAlexNea]

Je ne comprends pas trop les deux liens envoyés

[billmetangmo]

Oui je l'ai mis pour moi-même hahaha. Le lien montre juste la liste des élements avec " dans le titre (lien 1) et dans l'objet ( lien 2) pour un nouveau fichier rna que j'ai généré ( mais pas besoin de bosser sur celui-là). C'est juste pour garder une trace.

[billmetangmo]

Sinon il faudra mettre à jour ta branche avec main ( via un rebase) quand t'auras fini car j'ai poussé une mise à jour sur main avec:

• 16 par @flominT (du coup on a plus besoin on n'en aura plus besoin dans le fichier filter-cameroon)

• une MAJ du fichier filter-cameroon qui est maintenant plus clean ( en utilisant les #18 ) Cf https://github.com/mongulu-cm/tchoung-te/blob/main/etl/filter-cameroon.ipynb

Du coup une fois que t'auras terminé le clean dans ton fichier process_data , tu pourras juste rajouter l'enlèvement des espaces en trop et les guillemets dans la fonction normalize