osm-fr / bano

Différents outils pour la constitution de la Base Adresses Nationale Ouverte
Do What The F*ck You Want To Public License
30 stars 18 forks source link

Doublons dans la nouvelle sortie JSON #382

Open frodrigo opened 9 months ago

frodrigo commented 9 months ago

Il y a des doublons de type=city|town|village. Des lignes sont identiques. Principalement dans le 67.

Les type=city:

+"44015","Blain"
+"67043","Bischheim"
+"67046","Bischwiller"
+"67067","Brumath"
+"67130","Erstein"
+"67180","Haguenau"
+"67204","Hœnheim"
+"67218","Illkirch-Graffenstaden"
+"67267","Lingolsheim"
+"67348","Obernai"
+"67365","Ostwald"
+"67437","Saverne"
+"67447","Schiltigheim"
+"67462","Sélestat"
+"67482","Strasbourg"
vdct commented 9 months ago

Je ne constate aucun doublon dans les JSON du jour, et le code est plus ancien que ton ticket. Tu as des doublons encore de ton côté ?

frodrigo commented 9 months ago

Si je vois toujours des doublons dans la dernière verison en ligne

zcat full.sjson.gz  | grep '"id":"67462"' 
{"id":"67462","type":"city","name":"Sélestat","postcode":"67600","lat":48.25944,"lon":7.454217,"city":"Sélestat","departement":"Bas-Rhin","region":"Grand Est","population":19242,"adm_weight":3,"importance":0.6462}
{"id":"67462","type":"city","name":"Sélestat","postcode":"67600","lat":48.25944,"lon":7.454217,"city":"Sélestat","departement":"Bas-Rhin","region":"Grand Est","population":19242,"adm_weight":3,"importance":0.6462}
vdct commented 9 months ago

Ok vu. Ca devrait être bon désormais (corrigé hier soir)

frodrigo commented 9 months ago

Ok vu. Ca devrait être bon désormais (corrigé hier soir)

Ok plus de doublon là-dessus (pas de changement de code ?)

Mais il y en a d'autres sur les ids / code insee (il y en a aussi sur les codes fantoir)

      2 09110
      2 17307
      2 21352
      2 24478
      2 27466
      2 64214
      2 73257
      2 86247

86247 :

{"id":"86247","type":"town","name":"Val-de-Cognac","postcode":"86400","lat":45.744336,"lon":-0.357566,"city":"Val-de-Cognac","departement":"Vienne","region":"Nouvelle-Aquitaine","population":2399,"adm_weight":1,"importance":0.3277}
{"id":"86247","type":"village","name":"Val-de-Comporté","postcode":"86400","lat":46.133051,"lon":0.243007,"city":"Val-de-Comporté","departement":"Vienne","region":"Nouvelle-Aquitaine","population":497,"adm_weight":1,"importance":0.2785}

Val-de-Comporté contient les mêmes info que Val-de-Cognac alors que la commune est dans un autre département.

Pour 73257, 64214, 27466, 27466, 27466, 17307, 09110 doublons à l'exception des coordonnées.

vdct commented 9 months ago

Ok vu. Ca devrait être bon désormais (corrigé hier soir)

Ok plus de doublon là-dessus (pas de changement de code ?)

Non il s'agissait d'un fichier de données parasite

Val-de-Comporté contient les mêmes info que Val-de-Cognac alors que la commune est dans un autre département.

Corrigé dans OSM : une erreur de code INSEE dans la relation

Pour 73257, 64214, 27466, 27466, 27466, 17307, 09110 doublons à l'exception des coordonnées.

Pour chacun la situation était d'avoir 2 nodes avec un role admin_centre. Corrigés dans OSM

Le résultat devrait se voir dans les exports dispos demain

frodrigo commented 9 months ago

El jue, 22 feb 2024, 15:41, vdct @.***> escribió:

Pour 73257, 64214, 27466, 27466, 27466, 17307, 09110 doublons à l'exception des coordonnées.

Pour chacun la situation était d'avoir 2 nodes avec un role admin_centre. Corrigés dans OSM

Le résultat devrait se voir dans les exports dispos demain

Tu ne rajoute rien dans le code quand c'est comme ça pour pas que ne se reproduise ? Désolé, est mon côté QA.

vdct commented 9 months ago

Non car il ne s'agit pas de masquer ce qui est bancal dans OSM, sinon on ne le corrigera pas. C'est pour cette même raison qu'il n'y a jamais eu de fuzzy dans la recherche de correspondance entre les noms de voie d'OSM et les autres.