leodarengosse commented 2 years ago

Contexte

Les serveurs DCAT suivants ne peuvent pas être moissonnés par data.gouv :

Cela peut être causé par les raisons suivantes :

Récupération du format des fichiers téléversés
Analyse des services via l'API GeoData

Solutions

Solutions temporaires

[x] Supprimer la récupération du format du fichier téléversé le temps de régler l'ajout dans l'API (#102)
[x] Supprimer l'analyse de EFS qui sont forcément en 2154 pour le Loiret
[x] Augmenter la limite de pagination de la requête Search de l'API

Solutions long-terme

Il serait possible de :

Mettre en place un cache

Cache

Redis

Il est possible de mettre en place un composant Azure de cache pour utiliser redis dans le serveur dcat qui permettrait de gérer le cache. Le composant semble cependant critiqué pour être particulièrement lent et nécessiterait également des coûts en plus. L'avantage de l'utilisation de redis est le fait que les clefs ne sont pas stockées dans la webapp directement et qu'il est facile de gérer des dates d'expiration pour les différentes données de cache. https://www.npmjs.com/package/redis

Cache local dans la WebApp

Il existe un certains nombres de libraires de cache maintenues dans npm : https://www.npmjs.com/package/node-cache

Questionnement sur le cache

Comment gérer les données sans liens de téléchargement (pas de projection disponible, service pas disponible pour le moment) ?
- Faut-il les requêter plus souvent en imaginant pas exemple dans le cas d'un service pas disponible qu'il n'est pas disponible pour le moment seulement ou faut-il supposer que c'est un service cassé et donc le requêter moins souvent ?

jgrosmaire commented 2 years ago

Choses à faire :

retirer le cache
retirer la vérification des EFS