JohanRocheteau
commented
4 months ago Bonjour, J'ai créé les deux fichiers :
- Historique pour récupérer les données à partir du 29 septembre 2021 à 21h15 (il n'y a pas de données avant).
- Routine pour récupérer les données à partir de la TS la plus récente dans la BDD.
En ce qui concerne ces fichiers :
- Le fichier Historique tourne pendant un peu plus d'une heure. En effet, l'API sur les premières requêtes est de 1,5 seconde par jour mais monte à environ 7 secondes au bout d'un moment, du coup c'est plus long, mais il doit être fait qu'une seule fois. Sinon, je peux voir pour utiliser les CSV, ça ira beaucoup plus vite.
- Le fichier Routine vous en aurez pour quelques secondes si vous faites toutes les semaines à environ 2/3 min pour 1 mois.
- De manière générale, j'ai gardé les données en JSON sur une colonne et j'ai déployé les autres colonnes. Je n'ai pas transformé les températures en °C et je n'ai pas supprimé les colonnes vides ne sachant pas ce qui sera récupéré pour les autres stations.
- Je n'ai pas utilisé Poetry mais je vais regarder ça cette semaine car ça m'intéresse.
Si vous avez des questions ou des points de modifications/améliorations, je suis preneur, ça me permet de continuer à apprendre tout en travaillant sur des données utiles. Merci
lpofredc
Créer un script/appli python pour collecter automatiquement les données de station météo weatherlink vers une base de données PostgreSQL pour la gestion des données météo des réserves naturelles gérées par la LPOAuRA.
Doc API: https://weatherlink.github.io/v2-api/
A minima, stocker les données historiques dans une table de bdd PostgreSQL:
id_station(type INT), l'id de la stationts(type BIGINT) le timestamp du relevédata(TYPE JSONB) donnée brute en JSONid_stationettimestamp relevéconstituent doivent avoir une contrainte d'unicité sur le binôme.