ban-archive / api-gestion-poc

POC pour une API de gestion BAN
15 stars 11 forks source link

Valeur retenue dans le nom des groupes suite à l'initialisation de la BAN #214

Closed odorie closed 7 years ago

odorie commented 8 years ago

Pour faire suite à la réunion Ban Team d'hier et à la comparaison des noms des voies BAN/IGN/La Poste/DGFIP/BANO, voici 2 propositions à discuter ... :

  fantoir  |              ign_nom_normalise               |                   name_normalise                   |           ign_nom_afnor_normalise           
-----------|----------------------------------------------|----------------------------------------------------|----------------------------------------------
 060030700 | PLACE LEON VITRY                             | PLACE LEON VITRY CANAUX                            | PLACE LEON VITRY
 060030196 | CHEMIN DE FONT FREYE                         | CHEMIN DE FONTFREYE                                | CHEMIN DE FONT FREYE
 060041409 | RUE DE GOA                                   | ROUTE DE GOA                                       | RUE DE GOA
 060042733 | AVENUE DES PINS                              | AVENUE DES PINS PIMEAU                             | AVENUE DES PINS
 060041142 | AVENUE DES FLEURS                            | AVENUE DES FLEURS LAVAL                            | AVENUE DES FLEURS
 060042604 | PETIT CHEMIN DES TERRIERS                    | PETIT CHEMIN PETIT CHEMIN DES TERRIERS             | PETIT CHEMIN DES TERRIERS
 060043450 | IMPASSE DE LA TOURRAQUE                      | IMPASSE DE TOURRAQUE                               | IMPASSE DE LA TOURRAQUE
 060043090 | PLACE DU SAFRANIER                           | PLACE SAFRANIER                                    | PLACE DU SAFRANIER
 060042580 | PASSAGE DU PENSIONNAT                        | RUE DU PENSIONNAT                                  | PASSAGE DU PENSIONNAT
 060043210 | VIEUX CHEMIN DE SAINT JEAN                   | CHEMIN VIEUX DE SAINT JEAN                         | VIEUX CHEMIN DE SAINT JEAN
 060043340 | RUE DU TRIBUNAL                              | RUE DU T                                           | RUE DU TRIBUNAL
 060040493 | VOIE BERTRAND LE BON                         | VOIE BERTRAND LEBON                                | VOIE BERTRAND LE BON
 060042095 | RUE MIQUELIS RAYBAUD                         | RUE MICHELIS RAYBAUD                               | RUE MIQUELIS RAYBAUD
 060042520 | AVENUE COLONEL PAUL GIGNOUX                  | AVENUE PAUL GIGNOUX                                | AVENUE COLONEL PAUL GIGNOUX
 060041783 | RUE DES LAMBERTS                             | ROUTE DES LAMBERTS                                 | RUE DES LAMBERTS
 060042007 | VOIE MARIE FISCHER                           | IMPASSE MARIE FISCHER                              | VOIE MARIE FISCHER
 060042080 | AVENUE MAX MAUREY                            | AVENUE MAX MAURAY                                  | AVENUE MAX MAUREY
 060042156 | TRAVERSE DU MONT FLEURI                      | TRAVERSE MONT FLEURY                               | TRAVERSE DU MONT FLEURI
 060040733 | RUE CHRISTIAN CHESSEL                        | RUE PERE CHRISTIAN CHESSEL                         | RUE CHRISTIAN CHESSEL
 060043370 | CHEMIN DU TANIT                              | CHEMIN DE TANIT                                    | CHEMIN DU TANIT
 060040715 | AVENUE DES CHENES                            | AVENUE DES CHENES SALIS                            | AVENUE DES CHENES
 060042420 | IMPASSE DES PALMIERS                         | IMPASSE PALMIERS                                   | IMPASSE DES PALMIERS
 060040546 | ROUTE DU BORD DE MER                         | ROUTE DU BORD DE MER RN 98                         | ROUTE DU BORD DE MER
 060040745 | VIEUX CHEMIN DE LA COLLE                     | CHEMIN VIEUX DE LA COLLE                           | VIEUX CHEMIN DE LA COLLE
 060041223 | CHEMIN FRANCOIS MARIUS SPAGNON               | AVENUE FRANCOIS MARIUS SPAGNON                     | CHEMIN FRANCOIS MARIUS SPAGNON
 060042421 | ALLEE DES PALMIERS                           | ALLEE DES PALMIERS CAP                             | ALLEE DES PALMIERS
 060041045 | CHEMIN DE L ENTRACTE                         | CHEMIN DE L ENTR ACTE                              | CHEMIN DE L ENTRACTE
 060043030 | RUE DU DOCTEUR ROSTAN                        | RUE DOCTEUR ROSTAN                                 | RUE DU DOCTEUR ROSTAN
 060040075 | RUE DES ALISIERS                             | ROUTE DES ALIZIERS                                 | RUE DES ALISIERS
 060042265 | PLACETTE NIKOS KAZANTZAKI                    | PLACE NIKOS KAZANTZAKIS                            | PLACETTE NIKOS KAZANTZAKI
 060042130 | ALLEE DES MIMOSAS                            | ALLEE DES MIMOSAS CARRIAT                          | ALLEE DES MIMOSAS
 060040142 | RUE DES 3 MOULINS                            | CHEMIN ANCIEN CHEMIN DE VALBONNE                   | RUE DES 3 MOULINS
 060043332 | CHEMIN DE SUPER ANTIBES                      | CHEMIN SUPER ANTIBES                               | CHEMIN DE SUPER ANTIBES
 060040728 | RUE DES CISTES                               | ROUTE DES CISTES                                   | RUE DES CISTES
 060041987 | BOULEVARD MARECHAL FOCH                      | BOULEVARD DU MARECHAL FOCH                         | BOULEVARD MARECHAL FOCH
 060042300 | AVENUE NOTRE DAME D ENTREVIGNES              | AVENUE NUMERO D D ENTREVIGNES                      | AVENUE NOTRE DAME D ENTREVIGNES
 060042020 | ALLEE FRANCOISE DOLTO                        | ALLEE DES MARRONNIERS                              | ALLEE FRANCOISE DOLTO
 060041510 | AVENUE GUY DE MAUPASSANT                     | AVENUE G DE MAUPASSANT CAP                         | AVENUE GUY DE MAUPASSANT
 060040927 | RUE DOCTEUR FRANCOIS DELMAS                  | RUE DU DOCTEUR FRANCOIS DELMAS                     | RUE DOCTEUR FRANCOIS DELMAS
 060041525 | RUE GOUVERNEUR CHAVANNES                     | RUE GOUVERNEUR DE CHAVANNES                        | RUE GOUVERNEUR CHAVANNES
 060042435 | IMPASSE DU PANORAMA                          | IMPASSE PANORAMA                                   | IMPASSE DU PANORAMA
 060043320 | AVENUE DU SOLEIL                             | AVENUE DU SOLEIL NOTRE DAME                        | AVENUE DU SOLEIL
 060042850 | CHEMIN DES 4 CHEMINS                         | CHEMIN DES QUATRE CHEMINS                          | CHEMIN DES 4 CHEMINS
 060041143 | ALLEE DES FLEURS                             | ALLEE DES FLEURS SUPER ANTIBES                     | ALLEE DES FLEURS
  fantoir  | trigram |              ign_nom_normalise3               |            name_normalise3            |  ign_nom_afnor_normalise3
-----------|---------|-----------------------------------------------|---------------------------------------|----------------------------
 33122B173 |    0.20 | SERVICE DE BORDEAUX CESTAS NORD               | SERVICE AUTOROUTE                     |
 33174B107 |    0.19 | PICHE LEBRE                                   | PISSE LIEVRE                          | PICHE LEBRE
 33245B046 |    0.19 | ISLE FORT                                     | LILEFORT                              |
 33529A094 |    0.19 | CPG INTERNATIONAL FORET                       | DOMAINE FORET                         |
 06013B045 |    0.18 | COLLE                                         | CUOLLA                                |
 06075B131 |    0.18 | SARSE SOUBRANA                                | SIGA SUPRANA                          |
 335440006 |    0.18 | FRERES TART                                   | ANDRE ET MARCEL TART                  | ANDRE ET MARCEL TART
 330631684 |    0.18 | HENRI COLLET                                  | CAULET                                | HENRI COLLET
 061630660 |    0.18 | RIO SUPERIEUR                                 | RIOUX                                 | SUPERIEURE RIO
 335270452 |    0.18 | MARTHIAS                                      | BOIS MAROT                            | BOIS MAROT
 33357B052 |    0.18 | JANOT                                         | JEANNOT OUEST                         | LIEU DIT JEANNOT OUEST
 33384B009 |    0.18 | BASILICS                                      | BAZILIQUES                            | LIEU DIT BAZILIQUES
 06002B049 |    0.18 | UBAC D AMIRAT                                 | HUBAC                                 |
 33164B147 |    0.17 | TUILERIES                                     | VIEILLE TUILIERE                      |
 06040B124 |    0.17 | CABANE TROTTE                                 | TROATA HAUTE                          |
 061280392 |    0.17 | OUEST COURTINE SAINT PAUL                     | REMPARTS OUEST                        |
 33314B140 |    0.17 | LHORTE                                        | LORTHE                                |
 061610434 |    0.17 | LAC                                           | LAC VAUGRENIER PRESIDEN               | LAC
 06127B023 |    0.17 | COSTE                                         | COUASTA                               | COSTA
 33394B221 |    0.17 | PUYRAZAT                                      | PUITS RASAT                           | LIEU DIT PUITS RASAT
 33228B024 |    0.17 | EYMIERS                                       | EMIES                                 | EYMIERS
 060330242 |    0.16 | CARRIERO DOU POUNENT                          | DOAU POURTIQUO                        |
 06048B052 |    0.16 | JARRIER                                       | FOUON GEARIER                         | JARRIER
 06088A773 |    0.16 | CARIGLIANO LION                               | BRD PAUL MONTEL LION                  |
 33333A040 |    0.16 | D ACTIVITE ECONOMIQUE GARE                    | ZA ZAE GARE                           |
 061500391 |    0.15 | MOULINS                                       | MONACO                                | MONACO
 33517B081 |    0.15 | PEYRERES                                      | PEBRE                                 |
 33019B067 |    0.15 | MIGNON                                        | MAIGNAN                               | LIEU DIT MIGNON
 06042B066 |    0.15 | LIOURES                                       | LIURAS                                |
 33343B067 |    0.15 | LYONNE                                        | A LIONE                               |
 06139B053 |    0.15 | SAUCIAS                                       | SOCCIA                                |
 061220002 |    0.15 | METROPOLITAINE 2209                           | DEPARTEMENTAL 2209                    |
 06013B089 |    0.14 | PREINAS                                       | PRANOUS                               |
 060330212 |    0.14 | METROPOLITAINE 2210                           | DEPARTEMENTALE 2210                   |
 33290B201 |    0.14 | CLIE                                          | PETIT CLOS                            | LIEU DIT CLIE
 060041512 |    0.14 | DEMI ECHANGEUR D ANTIBES JUAN PINS GOLFE JUAN | G MAUPASSANT JUAN                     |
 33196B044 |    0.13 | LOUILLEY                                      | LAOUYEY                               | LIEU DIT LAOUYEY
 33018B073 |    0.13 | A LAULAN                                      | A POSTE                               | LIEU DIT LAULAN
 33290B084 |    0.13 | RUE                                           | CHAMPS LARUE                          |
 060330445 |    0.13 | PLACO DOU PUE                                 | PUY                                   | PLACO DOU PUE
 060780040 |    0.13 | PROUMENADA DEI MAROUNIE                       | MARRONNIERS                           | PROUMENADA DEI MAROUNIE
 33015B141 |    0.13 | NOYER                                         | NOUGUEY EST                           | NOYER
 33018B086 |    0.13 | MICHELLE                                      | A TAILLE                              | LIEU DIT MICHELE
 33015B169 |    0.13 | LET                                           | LAIT                                  |
 33413B083 |    0.12 | METAIRIE NEUVE                                | LOUSTEAU NEUF                         |
 33015B132 |    0.11 | VAUX                                          | VEAU                                  | LIEU DIT PEY VEAUX
 06048B120 |    0.11 | RUOS                                          | RIOU                                  |
 06094B049 |    0.11 | HAUT ENTASSE                                  | COUOLO D ANTASSI                      |
 33274B025 |    0.11 | DOMI                                          | DIME                                  |
 33056B045 |    0.11 | CAYCHAC                                       | CHANTE COUCOU                         |
 33519B036 |    0.11 | MON CHEUY                                     | CHAY NORD                             |
 33525B072 |    0.11 | MOUNAT                                        | AU MONAC EST                          |
 33201B067 |    0.11 | ANCIEN MOULIN GUISTRAN                        | MOUSTOUS                              | MOUSTOUS
 06131B076 |    0.11 | SALLAGRIFFON                                  | VILLAGE                               |
 06129B085 |    0.10 | VOLS                                          | VILLE                                 |
 060043340 |    0.10 | TRIBUNAL                                      | T                                     | TRIBUNAL
 060043350 |    0.10 | TRIBUNAL                                      | T                                     | T
 33307B049 |    0.10 | BARREYRE FAIVRE                               | FEVRES                                |
 33067B091 |    0.10 | PIRAT                                         | PORT                                  | LIEU DIT PIRAS
 060430046 |    0.10 | CARIERA DOU FORN                              | FOUR                                  | CARIERA DOU FORN
 330130275 |    0.10 | DEPARTEMENTALE 936                            | NATIONALE 136                         |
 33075B060 |    0.10 | SAINTE GERMAINE                               | GARENNE                               |
 06144B069 |    0.09 | CHAUL                                         | CLAUS                                 |
 06033B018 |    0.09 | CROUSIERO FARGO                               | FERRAGO                               |
 06064B013 |    0.09 | CLOT                                          | CALADE                                |
 33179B021 |    0.09 | BARGE                                         | BOURG                                 |
 33002B185 |    0.09 | PARRE                                         | PEREY                                 | AU PARRE
 06091B084 |    0.09 | PARAN                                         | PERON                                 | PARRAN
 06088B003 |    0.09 | POUDRIERE                                     | ACCO DEI PADRE                        |
 33525B130 |    0.08 | ARRAS                                         | A ZARA                                |
 33302B100 |    0.08 | CAZELIS                                       | AUX VIGNES CASELY                     | CAZELIS
 33355B191 |    0.08 | RIONS                                         | A RUAN                                |
 33193B032 |    0.08 | CARREAU                                       | CURE                                  |
 33413B051 |    0.08 | CAZAU                                         | GAZEAU                                |
 33073B261 |    0.08 | PORT                                          | PREDEAU                               | PORT
 33036B291 |    0.08 | PRADE                                         | PERRAT                                | PRADE
 33387B007 |    0.08 | CHOISY                                        | CASSE                                 |
 33330B008 |    0.08 | BAULE                                         | BOLLOS                                |
 06111B058 |    0.08 | COLLET                                        | CLUAT                                 |
 06082B018 |    0.08 | CASETTE                                       | COSTA                                 | CASETTE
 33364B053 |    0.08 | BORIE                                         | LABORRY                               | LIEU DIT LABORRY
 061401372 |    0.08 | VILLAGE                                       | VC 23                                 | VILLAGE
 060480322 |    0.08 | SERRE                                         | A SCLOS                               |
 33496B036 |    0.08 | COLAS                                         | AU CLOS                               |
 33227B059 |    0.08 | MOTTE                                         | LAMOTHE                               | LIEU DIT LAMOTHE
 33125B092 |    0.08 | LAMOTHE                                       | MOTTE                                 | MOTTE
 33084B057 |    0.08 | LUC                                           | LOUSTALOT                             | LIEU DIT LOUSTALOT
 06048B105 |    0.08 | CONTES                                        | POINTE                                |
 06092B057 |    0.08 | PEILLON                                       | PLANE                                 |
 33320B058 |    0.08 | MOTTE                                         | LAMOTHE                               | LIEU DIT LAMOTHE
 33034B047 |    0.08 | MOTTE                                         | LAMOTHE                               | LIEU DIT LAMOTHE
 33337B096 |    0.08 | PERRETTE                                      | PORT                                  | LIEU DIT PERRETTE
 06132B309 |    0.07 | SAORGE                                        | VILLAGE                               |
 33325B048 |    0.07 | METAIRIE                                      | MAINE                                 | LIEU DIT MAINE
 33454B027 |    0.07 | CABANAC                                       | CONTRE                                | LIEU DIT CONTRE
 33002B180 |    0.07 | PEREY                                         | AU PARRE                              | LIEU DIT PEREY
 06028B044 |    0.07 | CAILLE                                        | VILLAGE                               |
 33490B059 |    0.07 | HUTTE                                         | AU HAYET                              |
 06062B100 |    0.07 | GRANGES PELELIN                               | LO DI BELERAN                         |
 33018B008 |    0.07 | BLUAT                                         | BOUILLAS                              | BLUAT
 060440349 |    0.07 | VIEUX PONT                                    | SAINT PAUL ANCIENNE                   | VIEUX PONT
cquest commented 8 years ago

Problème pas simple du tout... car il me semble qu'il y a en fait 2 problèmes: le libellé et sa graphie (capitalisation/accentuation/abbréviation).

Mettons la graphie de côté.

  1. Le libellé officiel est celui de la commune et doit l'emporter en règle générale, sauf erreur (qui devrait être exceptionnelle, mais il y en a aussi).
  2. ensuite, par expérience, le libellé de La Poste semble très fiable.
  3. ensuite, vient celui de l'IGN (sans traitement automatique)
  4. et pour terminer celui de FANTOIR.

Pour la graphie, là, les sources accentuées et capitalisées sont les libellés du cadastre extraits par BANO et ceux des communes. Pour le reste c'est obtenu par traitement automatique, traitement qu'on peut appliquer en sortie pour diffusion, mais à mon avis pas en entrée car cela ne constitue pas une source.

Pour les graphies issues de DGFiP/BANO, il ne faudrait les utiliser que si le libellé est identique, c'est à dire uniquement pour changer la capitalisation et l'accentuation (désabréviation ?), mais rien d'autre. C'est peut être quelque chose à faire en post-init et pas pendant l'init, je vais toutefois regarder si il est possible de vérifier que le upper(unaccent(libelle)) est identique avant de l'appliquer.

Pour la deuxième partie... je pense qu'il ne faut pas garder les calculs de distance par trigramme dans la base. Par contre, il me semble utile de conserver les "alias" c'est à dire les différentes variations du libellé qu'on a dans les sources, name ne contenant au final que celui qui a été retenu.

odorie commented 7 years ago

Je ferme ce ticket pour en ouvrir d'autres plus précis dans le dépôt d'init https://github.com/BaseAdresseNationale/donnees-initiales/issues