Closed AntoineAugusti closed 11 months ago
Comme vu ensemble et au vu des datasets + le fait que ce n'est finalement pas une production du "publicateur" mais une production auto d'ODS probablement même pas spécialement connu des publicateur => OK pour la solution 3 de mon côté également
@cyrilmorin En regardant de nouveau, il semble que le temps de réponse soit bien meilleur dans la dernière version de l'API ODS, voir par exemple pour Gares SNCF qui répond lentement d'ordinaire (avec d'anciens endpoints).
Le fait de passer à la dernière version de ces URLs est dans les mains de @etalab/datagouv il me semble (il faut mettre à jour le moissonneur ODS).
Est-ce que ça change quelque chose ?
@AntoineAugusti en effet, s'il n'y a plus de problème de "perf" qui nous conduisent à signaler une indisponibilité c'est moins problématique d'avoir ces fichiers "superflus". Et avoir un traitement spécifique sur ce type de données reste à éviter à mon sens. Par contre en regardant un peu nos stats de dispo pour les gares SNCF ça semble toujours pas top :(
@cyrilmorin Le problème de perf est toujours bien présent actuellement mais il serait résolu dans le futur sans action de notre part quand le moissonneur ODS sera mis à jour par data.gouv.fr car il utilisera un endpoint plus récent pour les exports côté ODS.
Reste à savoir si on veut :
OK merci pour la précision @AntoineAugusti , alors de mon point de vue il est surement urgent d'attendre sans rien faire et ajuster quand on constatera ces améliorations :)
On attend les évolutions de moissonnage côté datagouv @etalab/datagouv.
OpenDataSoft propose plusieurs exports dans des formats différents quand des données géographiques sont publiées. Les ressources "Export au format Shapefile", format
shp
ont un problème : l'endpoint HTTP est lent à répondre (les conversions sont surement générées à la volée) et en conséquence on détecte souvent ces ressources comme indisponibles. Exemple avec ceci.On a déjà détecté 5 480 indisponibilités de ces ressources.
Voir requête
```sql select * from resource_unavailability ru where ru.resource_id in ( select r.id from resource r where r.format = 'shp' and r.title = 'Export au format Shapefile' ) ```En conséquence :
On pourrait :
On envisage plutôt 3. car ces ressources n'ont pas un intérêt net sur le PAN, elles sont souvent présentes avec des ressources GeoJSON tagguées avec un schéma. On pourrait les ignorer dans
ImportData
Ressources existantes