Dédoublonner les noms des autorités.

[pzwsk]

Ensuite, j'ai continué à bosser sur l'upload des autorités. C'est vraiment pas génial, parce qu'alaveteli utilise le nom des autorités comme index. Et après une poignée de tentatives infructueuses, j'ai réalisé que notre problème, c'est qu'on a un paquet de doublons. 4039 pour être précis (voir PJ, où j'ai juste copié les 50 premières).

Il y'a de vrais doublons, par exemple ligne 23-24 du fichier CSV, mais aussi de "faux doublons" (des autorités apparement différentes, mais avec le même nom dans notre fichier), ex: lignes 2 et 3, qui sont dans 2 villes différentes.

Pierre, comme tu as assemblé le fichier, tu vois sans doute mieux d'où ça vient?

Je vois plusieurs solutions:

• je supprime brutalement les doublons, en gardant un de chaque. Ca veut dire qu'on perd au moins 2000 autorités, pas génial.

• je peux aussi extraire la ville du champ adresse, et coller ça après le nom de l'autorité si elle est en doublon. Ca ne sera pas forcement très beau, mais ça résoudra le problème pour commencer.

• on trouve une solution en amount qui évite le problème

[pzwsk]

Hello @laurentS

Tu pourrais me partager ton jupyter notebook comme exemple.

J'ai une erreur à la première ligne read_csv ...

Merci beaucoup

[laurentS]

Oui, tout est dans la PR ici: https://github.com/okfnfr/dada-france-authorities/pull/4

[pzwsk]

Résultat ici https://github.com/okfnfr/dada-france-authorities/blob/master/deduplicates.csv

J'ai ajouté les noms des communes dans name quand celles-ci n'était pas indiquées et ensuite ajouté les 8 derniers chiffres de #id qui correspondent au numéro INSEE de la commune + nombre incrémental.

Tout est dans le jupyter notebook ...

Reste à faire :

• [ ] Nettoyer deduplicates.csv (deux colonnes non nécessaires)
• [ ] Fusionner deduplicates.csv et french-authorities.csv
• [ ] Ajouter les emails des PRADAS cf #3 etc.