Task: Conceptualiser l'utilisation de données externes

[iolyd]

Task Description

As indicated by Sylvie, our best entry point to get information on API access for the city's or the gov's geographic databases is through the geomatic division at the Ville de Montréal. We can also explore the Quebec Governement data portal for some data.

Upon reading more on the subject, there seems to be some city data already in open access through an API. As indicated, see http://docs.ckan.org/en/latest/maintaining/datastore.html for more extensive info on the API usage.

Data sources

• Données Québec
• Données Montréal (jeux essentiellement aussi disponibles sur Données Québec)

Relevant data

• PIIA
• Zonage
• Points d'intérêts
• Secteurs particuliers
• Aménagment général:
  • Ruelles vertes?
  • Pistes cyclables?
  • Arbres / végétation?

Implementation strategy

In most cases, the public APIs identified do not provide caching, i.e. their responses do not contain any cache-setting headers. This is to-be expected for this kind of API as their main goal is generally to ensure requesters get the freshest data possible, regardless of performance. Though, since the fetched data typically updates somewhat infrequently (say every 1-5 days) and our use is not critical to its freshness, we might be better off implementing our own aggregation layer (middleware) to:

• control caching headers
• process the data
• validate its correspondance with our own defined schema (using zod?)

We could pre-fetch the data using pre-rendered endpoints (export const prerender = true) in conjunction with vercel's ISR to refresh the data regularly (https://github.com/sveltejs/kit/issues/661).

Tasks

• to do

[AgathePC]

@iolyd Est-ce qu'on pourrait regarder ce lien ensemble prochainement? http://docs.ckan.org/en/latest/maintaining/datastore.html Je ne suis pas sûre de comprendre comment ça marche.

[iolyd]

@AgathePC Le lien en question est en fait intégré dans la description du issue pour conserver une référence vers la documentation technique utile pour les tâches de développement en lien avec la récupération des données par le site web. Ce n'est donc pas nécessaire de l'explorer. Désolé, je constate que ce issue mérite d'être réorganisé un peu, il a été rédigé rapidement en parallèle à une discussion il y a quelques mois.

[iolyd]

Bonjour @frroye, je t'ai assigné ce epic (pour l'instant incomplet / partiellement désuet) comme il encadrera fort probablement les tâches sur lesquelles je t'inviterai à travailler prochainement. Je vais progressivement le réviser et continuer d'y ajouter de l'information pour contextualiser un peu plus le travail prévu et reviendrai bientôt histoire d'organiser une petite rencontre pour démarrer le tout. Je te laisse le consulter entretemps. Tu peux aussi explorer un peu le repo du projet, mais je pourrai te le présenter plus en profondeur pendant la rencontre.

[frroye]

Bonjour @iolyd, ça marche!