Ignorer ressources "Export au format Shapefile" ?

[AntoineAugusti]

OpenDataSoft propose plusieurs exports dans des formats différents quand des données géographiques sont publiées. Les ressources "Export au format Shapefile", format shp ont un problème : l'endpoint HTTP est lent à répondre (les conversions sont surement générées à la volée) et en conséquence on détecte souvent ces ressources comme indisponibles. Exemple avec ceci.

On a déjà détecté 5 480 indisponibilités de ces ressources.

Voir requête

```sql select * from resource_unavailability ru where ru.resource_id in ( select r.id from resource r where r.format = 'shp' and r.title = 'Export au format Shapefile' ) ```

En conséquence :

• on prévient les producteurs d'indisponibilités (bruit inutile)
• on a des statistiques de disponibilité mauvaises pour ces ressources et un score de JDD qui est affecté par ceci

On pourrait :

1. voir avec OpenDataSoft si ils peuvent répondre plus rapidement
2. avoir un timeout plus long pour ces ressources (5s actuellement)
3. supprimer ces ressources

On envisage plutôt 3. car ces ressources n'ont pas un intérêt net sur le PAN, elles sont souvent présentes avec des ressources GeoJSON tagguées avec un schéma. On pourrait les ignorer dans ImportData

Ressources existantes

dataset_url	dataset_type	dataset_title	resource_title	schema_name
https://transport.data.gouv.fr/datasets/prix-des-carburants-en-france-flux-quotidien	charging-stations	Prix des carburants et informations Points de vente - Flux quotidien	Export au format Shapefile
https://transport.data.gouv.fr/datasets/zfe-m-voies-exceptionnelles	low-emission-zones	Zone à Faibles Émissions - Eurométropole de Strasbourg - Voies exceptionnelles	Export au format Shapefile
https://transport.data.gouv.fr/datasets/velyceo-electriques-en-libre-service-de-saint-nazaire-agglo	bike-scooter-sharing	VélYcéos	Export au format Shapefile
https://transport.data.gouv.fr/datasets/stationnements-cyclables-sur-le-territoire-de-la-carene	bike-parking	Stationnements cyclables - Communauté d'agglomération de la région nazairienne et de l'estuaire	Export au format Shapefile	etalab/schema-stationnement-cyclable
https://transport.data.gouv.fr/datasets/perimetre-zone-a-faibles-emissions-mobilite-zfem	low-emission-zones	Zone à Faibles Émissions - Toulouse Métropole	Export au format Shapefile
https://transport.data.gouv.fr/datasets/zone-a-faibles-emissions-zfe	low-emission-zones	Zone à Faibles Émissions - Ville de Paris	Export au format Shapefile
https://transport.data.gouv.fr/datasets/liste-des-passages-a-niveau	road-data	Passages à niveau du Réseau Ferré National	Export au format Shapefile
https://transport.data.gouv.fr/datasets/voies-exceptionnelles-de-la-zone-a-faibles-emissions-mobilite-zfe-m-de-marseille	low-emission-zones	Zone à Faibles Émissions - Métropole d'Aix-Marseille-Provence - Voies exceptionnelles	Export au format Shapefile
https://transport.data.gouv.fr/datasets/stationnement-cyclable-2	bike-parking	Stationnements cyclables - Tourcoing	Export au format Shapefile	etalab/schema-stationnement-cyclable
https://transport.data.gouv.fr/datasets/sla-parkings-publics-communautaires	private-parking	Parkings publics communautaires	Export au format Shapefile	etalab/schema-stationnement
https://transport.data.gouv.fr/datasets/prix-des-carburants-en-france-flux-instantane-v2-amelioree	charging-stations	Prix des carburants et informations Points de vente - Flux temps réel	Export au format Shapefile
https://transport.data.gouv.fr/datasets/stations-gnv-publiques-en-france-2	charging-stations	Stations GNV publiques	Export au format Shapefile
https://transport.data.gouv.fr/datasets/amenagements-cyclables-au-format-bnac	bike-way	Aménagements cyclables  - Strasbourg Eurométropole	Export au format Shapefile
https://transport.data.gouv.fr/datasets/sla-stationnements-velos-publics	bike-parking	Stationnement cyclable - Saint-Louis Agglomération	Export au format Shapefile	etalab/schema-stationnement-cyclable
https://transport.data.gouv.fr/datasets/zone-a-faibles-emissions-mobilite	low-emission-zones	Zone à Faibles Emission - Eurométropole de Strasbourg - Aire réglementée	Export au format Shapefile
https://transport.data.gouv.fr/datasets/liste-des-gares	locations	Gares du réseau ferré national	Export au format Shapefile
https://transport.data.gouv.fr/datasets/velib-velos-et-bornes-disponibilite-temps-reel	bike-scooter-sharing	Vélib	Export au format Shapefile
https://transport.data.gouv.fr/datasets/zfe-m	low-emission-zones	Zone à Faibles Émissions - Métropole d'Aix-Marseille-Provence	Export au format Shapefile
https://transport.data.gouv.fr/datasets/pistes-cyclables-tours-metropole-val-de-loire	bike-way	Aménagements cyclables  - Tours Métropole	Export au format Shapefile

select 
  'https://transport.data.gouv.fr/datasets/' || d.slug url,
  d.type,
  d.custom_title,
  r.title,
  r.schema_name
from resource r
join dataset d on d.id = r.dataset_id
where r.format = 'shp' and r.title = 'Export au format Shapefile'

[cyrilmorin]

Comme vu ensemble et au vu des datasets + le fait que ce n'est finalement pas une production du "publicateur" mais une production auto d'ODS probablement même pas spécialement connu des publicateur => OK pour la solution 3 de mon côté également

[AntoineAugusti]

@cyrilmorin En regardant de nouveau, il semble que le temps de réponse soit bien meilleur dans la dernière version de l'API ODS, voir par exemple pour Gares SNCF qui répond lentement d'ordinaire (avec d'anciens endpoints).

Le fait de passer à la dernière version de ces URLs est dans les mains de @etalab/datagouv il me semble (il faut mettre à jour le moissonneur ODS).

Est-ce que ça change quelque chose ?

[cyrilmorin]

@AntoineAugusti en effet, s'il n'y a plus de problème de "perf" qui nous conduisent à signaler une indisponibilité c'est moins problématique d'avoir ces fichiers "superflus". Et avoir un traitement spécifique sur ce type de données reste à éviter à mon sens. Par contre en regardant un peu nos stats de dispo pour les gares SNCF ça semble toujours pas top :(

[AntoineAugusti]

@cyrilmorin Le problème de perf est toujours bien présent actuellement mais il serait résolu dans le futur sans action de notre part quand le moissonneur ODS sera mis à jour par data.gouv.fr car il utilisera un endpoint plus récent pour les exports côté ODS.

Reste à savoir si on veut :

• attendre cette mise à jour, sans rien faire
• attendre cette mise à jour, faire quelque chose
• supprimer ces fichiers

[cyrilmorin]

OK merci pour la précision @AntoineAugusti , alors de mon point de vue il est surement urgent d'attendre sans rien faire et ajuster quand on constatera ces améliorations :)

[AntoineAugusti]

On attend les évolutions de moissonnage côté datagouv @etalab/datagouv.