Supprimer les colonnes « *_last_check » ?

[JulienPalard]

Je ne suis pas fan de ces colonnes (que j'ai moi-même introduit) pour plusieurs raisons :

• Lors des "rescan" journaliers de 1000 domaines, ça fait systématiquement 2000 lignes de diff, c'est trop.
• Si on veut "rescanner" plus de domaines, ça fera plus de lignes de diff par jour juste pour mettre à jour les dates.
• La proportion « vrai changement » (un domain est down) sur « mise à jour d'une date » est très mauvaise (~10% sont des vrais changements, à la louche).
• Ces 1000 lignes de diff rendent illisible le git log : on ne sait pas quel domain est tombé ou quel domaine est revenu en lisant le git log, on voit surtout que le script est passé avec ses gros sabots.
• Ce n'est pas nécessaire de le stocker : je viens de penser que pour garantir un rescan de tous les domaines sur 30 jours on pourrait se baser sur quelque chose comme : crc32(domain.name) % 28 == today().day. Et on aura toujours la date à laquelle chaque domaine est parti/revenu dans la date du commit.

Je propose donc deux choses :

• Supprimer les colonnes *_last_check.
• Peut-être réecrire l'historique git des 6 derniers mois sans ces colonnes pour la lisibilité.

Avec ces deux colonnes, l'historique ressemble à ça (notez le ~1000 insertions ~1000 deletions pour les changements de date)

```text commit f69c0a23abd89d4103bb4eb2092d74049d4b933b Author: GitHub Action <> Date: Thu Dec 8 05:01:35 2022 +0000 Refreshing 1k domains. domains.csv | 2012 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++----------------------------------------------------------------------------------------------- urls.txt | 34 ++-- 2 files changed, 1020 insertions(+), 1026 deletions(-) commit 73c2e2499e19bd33bf8a3aedd25951bcea4b265e Author: GitHub Action <> Date: Wed Dec 7 05:00:54 2022 +0000 Refreshing 1k domains. domains.csv | 2010 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++----------------------------------------------------------------------------------------------- urls.txt | 33 ++-- 2 files changed, 1018 insertions(+), 1025 deletions(-) commit 81eb05f048decaa9344c26e454394ff086b328a8 Author: GitHub Action <> Date: Tue Dec 6 05:01:35 2022 +0000 Refreshing 1k domains. domains.csv | 2008 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++----------------------------------------------------------------------------------------------- urls.txt | 26 ++- 2 files changed, 1015 insertions(+), 1019 deletions(-) commit dbcc8983d57d73ce7a7185298514a239e09762a0 Author: GitHub Action <> Date: Mon Dec 5 05:00:59 2022 +0000 Refreshing 1k domains. domains.csv | 2008 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++----------------------------------------------------------------------------------------------- urls.txt | 37 ++-- 2 files changed, 1023 insertions(+), 1022 deletions(-) commit 54b5b07b8fa7bda34ef09cf5c2d6eea85d629a7d Author: GitHub Action <> Date: Sun Dec 4 05:01:46 2022 +0000 Refreshing 1k domains. domains.csv | 2026 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++----------------------------------------------------------------------------------------------- urls.txt | 43 ++--- 2 files changed, 1030 insertions(+), 1039 deletions(-) ```

Après réecriture il ressemble à ça.

```text commit 67ede401bca06b0ecab649b42ab24895364587c2 Author: GitHub Action <> Date: Thu Dec 8 05:01:35 2022 +0000 Refreshing 1k domains. domains.csv | 184 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++-------------------------------------------------------------------------------------------- urls.txt | 34 ++++++++++++++-------------------- 2 files changed, 106 insertions(+), 112 deletions(-) commit 65d02c926cb0f0fa7aec6066b603e4efbcd68b1f Author: GitHub Action <> Date: Wed Dec 7 05:00:54 2022 +0000 Refreshing 1k domains. domains.csv | 132 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++------------------------------------------------------------------ urls.txt | 33 +++++++++++++-------------------- 2 files changed, 79 insertions(+), 86 deletions(-) commit 91a2e068479e7abf2f1d98a0942f5cd8a601cb84 Author: GitHub Action <> Date: Tue Dec 6 05:01:35 2022 +0000 Refreshing 1k domains. domains.csv | 116 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++---------------------------------------------------------- urls.txt | 26 +++++++++++--------------- 2 files changed, 69 insertions(+), 73 deletions(-) commit f5a2963dfb88ebd426c06bfbf4866fe8f9175b16 Author: GitHub Action <> Date: Mon Dec 5 05:00:59 2022 +0000 Refreshing 1k domains. domains.csv | 266 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++------------------------------------------------------------------------------------------------ urls.txt | 37 ++++++++++++++------------- 2 files changed, 152 insertions(+), 151 deletions(-) commit 2a40ed0ba9a6320924b89147a1f1252b55268d9e Author: GitHub Action <> Date: Sun Dec 4 05:01:46 2022 +0000 Refreshing 1k domains. domains.csv | 174 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++--------------------------------------------------------------------------------------- urls.txt | 43 +++++++++++++++++-------------------------- 2 files changed, 104 insertions(+), 113 deletions(-) ```

Si on accepte la réecriture d'historique, je propose aussi d'écraser les commits « Refreshing recently removed domains. » dans leur commit « Refreshing 1k domains. » respectif.

Cependant réecrire l'historique git signifie que tout le monde doit repartir d'un "clone frais" du repo, un "git pull" ne suffira pas : il faut qu'on soit tous d'accord et synchro. Ou alors on profite d'un changement de nom de branche principale ?

J'ai crée https://github.com/JulienPalard/noms-de-domaine-organismes-publics pour montrer le résultat de la réecriture.

Recette pour la réecriture

J'ai utilisé `git filter-repo` avec un simple fichier de deux expressions: ```bash $ cat /tmp/expressions.txt regex:,2022-[0-9]{2}-[0-9]{2},==>, name,http_last_check,http_status,https_last_check,https_status==>name,http_status,https_status git filter-repo --replace-text /tmp/expressions.txt ``` Et j'ai terminé le "fixup" des commits `Refreshing recently removed domains.` dans leur `Refreshing 1k domains.` respectifs avec un grand `git rebase -i --committer-date-is-author-date bfea7da`

Qu'en pensez-vous ?

[mfaure]

Joli boulot ! Je me suis questionné sur la valeur ajoutée de la ré-écriture de l'historique. Je comprends l'intérêt (voir ce qui bouge réellement). Mais je m'interroge si le fait de voir maintenant ce qu'il s'est passé les derniers mois a beaucoup de valeur.

Voici ma proposition : faire la modif des GH-actions me semble pertinente, ré-écrire l'historique moins :)

[JulienPalard]

Ça me va :+1:

[JulienPalard]

C'est fait.