gip-inclusion / data-inclusion

data·inclusion aggrège les données de l'insertion sociale et professionnelle
https://api.data.inclusion.beta.gouv.fr/api/v0/docs
MIT License
6 stars 1 forks source link

feat(pipeline) : Persister le code INSEE & autres #268

Closed vperron closed 2 months ago

vperron commented 2 months ago

Lorsque le code INSEE est supérieur à 0.8 (pour l'instant...) on se propose d'enregistrer dans les marts les valeurs retournées par la BAN car plus "propres" et canoniques.

Dans les autres cas, on conserve les données d'origine (en notant le score).

Pour les "villes" (résultats de type "municipality") on conserve l'adresse d'origine (vide la plupart du temps, mais pas toujours) et on persiste le code INSEE, code postal et nom de la commune venant de la BAN.

On a pu constater un léger souci avec les adresses Soliguide, corrigé pour augmenter les scores désormais. Pasd'autre amélioration "évidente" en vue a priori.

-[ RECORD 31 ]-----+---------------------------------------------------------------------------------------------------------------------------------------------------------
adresse            | 29510 Briec
complement_adresse | 
-[ RECORD 32 ]-----+---------------------------------------------------------------------------------------------------------------------------------------------------------
adresse            | 44300 Nantes
complement_adresse | Quartier Doulon - Bottière
-[ RECORD 33 ]-----+---------------------------------------------------------------------------------------------------------------------------------------------------------
adresse            | 68100 Mulhouse
complement_adresse | Tournée dans Mulhouse centre : parking Leclerc, gare, centre-ville, place de la bourse
-[ RECORD 34 ]-----+---------------------------------------------------------------------------------------------------------------------------------------------------------
adresse            | Parc d'Activités Économiques du Sègre
complement_adresse | 
-[ RECORD 35 ]-----+---------------------------------------------------------------------------------------------------------------------------------------------------------
adresse            | 67000 Strasbourg
complement_adresse | 
-[ RECORD 36 ]-----+---------------------------------------------------------------------------------------------------------------------------------------------------------
adresse            | 85 Rue Lunaret
complement_adresse | 

Sur ~134000 adresses, ~91000 ont un score au-dessus de 0.8, et ~121000 au-dessus de 0.6.