Script d'expiration des tuiles pour bzh202

MaelREBOUX commented 6 years ago

Bonjour @cquest

Je te sollicite pour disposer de ton script d'expiration des tuiles. On en avait parlé en décembre mais c'était trop tôt. Maintenant c'est OK.

J'ai bien vu que les listes des tuiles sont dans /data/osm2pgsql/expire_list/ et j'ai lu https://wiki.openstreetmap.org/wiki/Tile_expire_methods

Et je vois bien que le souci du script c'est de gérer la liste des listes sur un pas de temps donné. Inutile donc de refaire ce qui marche bien ^_^

Je te remercie donc d'avance de me le faire parvenir par n'importe quel moyen.

jocelynj commented 6 years ago

Il doit s'agir de ce script: https://github.com/osm-fr/osm2pgsql-import-tools/blob/master/update-osm.sh

MaelREBOUX commented 6 years ago

Nope : ça (si j'ai bien lu car ces scripts dépasse mon niveau) c'est pour mettre à jour une base de données OSM et générer la liste des tuiles à invalider.

Je suis justement à l'étape d'après : invalidation des tuiles avec les listes générées par osm2pgsql. Si j'ai bien lu ça utilise plutot le programme render_expired

MaelREBOUX commented 6 years ago

Ha ok : en fait ce script gère TOUT dont l'expiration des tuiles ici : https://github.com/osm-fr/osm2pgsql-import-tools/blob/master/update-osm.sh#L112-L120

Donc je peux pas reprendre tel quel -> il va falloir que j'adapte…

Mon souci ça va être de savoir quel fichier de liste à été traité et lequel non vu que je maîtrise pas le temps / rythme de création de ces fichiers. Va sans doute falloir que je gère une liste de mon côté pour faire la comparaison.

jocelynj commented 6 years ago

Oui, on est quasiment obligé de gérer la liste d'expiration en même temps que la mise à jour de la base de donnée postgresql.

Si je comprends bien ton souci, c'est que tu tapes sur une base de donnée extérieure, et tu ne maitrises pas quand est-ce qu'elle est mise à jour ?

@cquest: on peut exporter la liste d'expiration ?

MaelREBOUX commented 6 years ago

Si je comprends bien ton souci, c'est que tu tapes sur une base de donnée extérieure, et tu ne maitrises pas quand est-ce qu'elle est mise à jour ?

C'est ça. Les listes générées par ce script sont partagées et visible ici sur bzh202 : /data/osm2pgsql/expire_list/ C'est le résultat de la maj de la base OSM monde.

Donc je maîtrise pas le tempo. Donc il va me falloir gérer un truc qui regarde les n dernières listes produites (20 ?) et qui regarde quelle était le nom du fichier de la dernière liste traitée sur bzh202. Puis lecture des n listes à traiter pour invalider les tuiles concernées.

Si qqn a une autre idée...

jocelynj commented 6 years ago

Je vois plusieurs solutions:

supprimer les fichiers expire.list-* dans ton script au fur et à mesure qu'ils sont traités (ce qui me parait une bonne idée, vu qu'il y en a pour 72G)
utiliser des liens symboliques pour tracker les fichiers déjà traités, et ne traiter que les fichiers qui n'ont pas de lien.

MaelREBOUX commented 6 years ago