Avec la mise en production d’Archéo Lex, j’ai essayé de comprendre à quelle heure était livré la base LEGI du jour (et ce qu’elle contenait par rapport au JO du jour, c’est un autre sujet). Au sujet de l’heure, en regardant https://echanges.dila.gouv.fr/OPENDATA/LEGI/, à la fois l’heure de référence dans le nom de fichier (qui est probablement l’heure de début de l’export) et l’heure du fichier (qui est l’heure d’écriture du fichier exporté), on remarque une grande variabilité surtout dans l’heure de début.
Cela rend approximatif la récupération des données par un cron à une heure fixe. Pour ma part, j’avais mis deux cron à 20:55 et 22:15 après estimation pifométrique. Je viens de faire des stats sur la période 28 février 2017 – 11 janvier 2019, le graphique ci-après est l’heure de début avec la date en abscisses et l’heure en ordonnées (entre 19h et 04h, chaque graduation représente une heure).
On peut constater sur ce graphique la variabilité, et surtout que la moyenne s’est décalée d’une heure depuis le 10 décembre 2018. La moyenne globale sur toute la période est à 20:29:11 avec un écart-type de 45 minutes, des extréma entre 19:13:10 et 03:07:48 (le lendemain du jour habituel). Sur la période récente (10 décembre 2018 – 11 janvier 2019, 24 valeurs), la moyenne est à 21:41:22, l’écart-type de 27 minutes, les extrama 20:44:25 et 22:50:59.
Sur le temps d’exécution de l’export à la DILA, c’est plus facile à anticiper car celui est relativement constant, l’heure de mise à disposition est dépend donc essentiellement de l’heure du début de l’export. Hors problème entraînant des outliers, la moyenne est de 7 min 30 s, l’écart-type est de 5 min 35 s, les extrema sont 0 min 27 s et 25 min 58 s.
Pour Archéo Lex, je viens de changer en mettant toutes les quarts d’heures entre 20:55 et 23:15, et le premier qui tourne (dès que la base LEGI devient disponible) arrête les exécutions suivantes. J’ai regardé aussi le temps d’exécution de legi.py + Archéo Lex, c’est encore améliorable car ça met entre 2 et 5 h pour l’ensemble des codes, ça se terminait souvent vers 2h du matin lorsque le lancement était à 22:15.
PS: il se passe des choses bizarres autour des fuseaux horaires, voyez par exemple les heures serveur entre les passerelles HTTP et FTP ( ftp://echanges.dila.gouv.fr/LEGI/ ) de la DILA (je penche pour un bug dans leur serveur FTP à mal interpréter l’ISO 8601 avec fuseau horaire).
Avec la mise en production d’Archéo Lex, j’ai essayé de comprendre à quelle heure était livré la base LEGI du jour (et ce qu’elle contenait par rapport au JO du jour, c’est un autre sujet). Au sujet de l’heure, en regardant https://echanges.dila.gouv.fr/OPENDATA/LEGI/, à la fois l’heure de référence dans le nom de fichier (qui est probablement l’heure de début de l’export) et l’heure du fichier (qui est l’heure d’écriture du fichier exporté), on remarque une grande variabilité surtout dans l’heure de début.
Cela rend approximatif la récupération des données par un cron à une heure fixe. Pour ma part, j’avais mis deux cron à 20:55 et 22:15 après estimation pifométrique. Je viens de faire des stats sur la période 28 février 2017 – 11 janvier 2019, le graphique ci-après est l’heure de début avec la date en abscisses et l’heure en ordonnées (entre 19h et 04h, chaque graduation représente une heure).
On peut constater sur ce graphique la variabilité, et surtout que la moyenne s’est décalée d’une heure depuis le 10 décembre 2018. La moyenne globale sur toute la période est à 20:29:11 avec un écart-type de 45 minutes, des extréma entre 19:13:10 et 03:07:48 (le lendemain du jour habituel). Sur la période récente (10 décembre 2018 – 11 janvier 2019, 24 valeurs), la moyenne est à 21:41:22, l’écart-type de 27 minutes, les extrama 20:44:25 et 22:50:59.
Sur le temps d’exécution de l’export à la DILA, c’est plus facile à anticiper car celui est relativement constant, l’heure de mise à disposition est dépend donc essentiellement de l’heure du début de l’export. Hors problème entraînant des outliers, la moyenne est de 7 min 30 s, l’écart-type est de 5 min 35 s, les extrema sont 0 min 27 s et 25 min 58 s.
Pour Archéo Lex, je viens de changer en mettant toutes les quarts d’heures entre 20:55 et 23:15, et le premier qui tourne (dès que la base LEGI devient disponible) arrête les exécutions suivantes. J’ai regardé aussi le temps d’exécution de legi.py + Archéo Lex, c’est encore améliorable car ça met entre 2 et 5 h pour l’ensemble des codes, ça se terminait souvent vers 2h du matin lorsque le lancement était à 22:15.
PS: il se passe des choses bizarres autour des fuseaux horaires, voyez par exemple les heures serveur entre les passerelles HTTP et FTP ( ftp://echanges.dila.gouv.fr/LEGI/ ) de la DILA (je penche pour un bug dans leur serveur FTP à mal interpréter l’ISO 8601 avec fuseau horaire).
Mon tableur est sur https://archeo-lex.fr/dates-livraison-legi.ods, ce n’est pas beaucoup commenté, ce post reprend les données les plus intéressantes.