search

osm-fr / infrastructure

Handle tickets against osm-fr infrastructure
MIT License
21 stars 4 forks source link

osm177/tile-vect : plus de mise à jour de la base #507

Open lefuturiste opened 9 months ago

lefuturiste commented 9 months ago

La base qui est derrière le service tile-vect.openstreetmap.fr ne semble plus mise à jour depuis début juillet 2023. Voir : https://munin.openstreetmap.fr/osm14.openstreetmap.fr/tile-vect.vm.openstreetmap.fr/osm_replication_lag.html comme #263

lefuturiste commented 9 months ago

Sachez que je me propose pour aider pour l'infrastructure (pas gestion des machines, mais gestion d'un service en particulier). Je suis dispo ce week-end. N'hésitez pas à me contacter.

Marc-marc-marc commented 8 months ago

compte créé https://github.com/osm-fr/ansible-scripts/pull/102

lefuturiste commented 8 months ago

okay, Là le but ça va être de mettre en place les scripts qu'il faut pour de l'autoupdate

frodrigo commented 8 months ago

J'ai fait une mise à jour à la main. Mais j'ai eu beaucoup de mal à arriver au bout pour plusieurs cause. Mais je n'ai pas vraiment identifié l'origine, peut être un manque de mémoire.

frodrigo commented 8 months ago

J'ai re-essayer une mise à jour aujourd’hui et ça a échoué. Je pense que c'est lié à la charge système de l’hôte qui est surchargé par des VM d'openfootfact.

cquest commented 6 months ago

Je doute qu'il y ait un lien, vu que la charge a bien diminué depuis cet été. La VM OFF va dégager sous peu.

TANK2003 commented 6 months ago

Hello ici, ce serait possible d'utiliser cette base pour DataOSM ? Je viendrai une fois par jour ou une fois par semaine récupérer les données via des centaines (400-500) pour les stocker dans une autre base.

frodrigo commented 6 months ago

Je doute qu'il y ait un lien, vu que la charge a bien diminué depuis cet été. La VM OFF va dégager sous peu.

Oui, je vois qu'il n'y a plus qu'une seule VM openfootfact. On va voir avec les nouveau serveur de toute façon.

Hello ici, ce serait possible d'utiliser cette base pour DataOSM ? Je viendrai une fois par jour ou une fois par semaine récupérer les données via des centaines (400-500) pour les stocker dans une autre base.

Il n'y a pas de base de données. C'est fait directement depuis le PBF.

cquest commented 6 months ago

C'est planetiler que tu utilises ? J'ai générer pour test un mbtiles (+ pmtiles) monde pour voir les ressources nécessaires en RAM. Il faut un peu plus de 128Go actuellement.

frodrigo commented 6 months ago

C'est planetiler que tu utilises ? J'ai générer pour test un mbtiles (+ pmtiles) monde pour voir les ressources nécessaires en RAM. Il faut un peu plus de 128Go actuellement.

Oui, mais France uniquement.

cquest commented 6 months ago

Nouveau test avec tilemaker désormais en 3.0 avec un planet.osm.pbf pour générer un pmtiles:

Voici le log de la conversion:


Bounding box -180, -85.06, 180, 85.06
Using osm store file: temp
Filename: temp/mmap_0.dat, size: 1024000000
Reading shapefile ocean
Reading shapefile urban_areas
Reading shapefile ice_shelf
Reading shapefile glacier
Generated points: 0, lines: 0, polygons: 65828
Reading .pbf planet.osm.pbf
(Scanning for ways used in relations: 99%)           (55894 ms)
Store size 346G | Block 1226785/1226786 (306504 ms)
Store size 395G | 1/6 Block 124978/124979 (425820 ms)
Store size 444G | 2/6 Block 124978/124979 (419839 ms)
Store size 493G | 3/6 Block 124946/124979 (445726 ms)
Store size 542G | 4/6 Block 124978/124979 (536138 ms)
Store size 592G | 5/6 Block 124978/124979 (451385 ms)
Store size 641G | 6/6 Block 124978/124979 (447614 ms)
Store size 690G | 1/6 Block 1456/1457 (150024 ms)
Store size 739G | 2/6 Block 1456/1457 (270061 ms)
Store size 788G | 3/6 Block 1456/1457 (255745 ms)
Store size 837G | 4/6 Block 1456/1457 (327527 ms)
Store size 886G | 5/6 Block 1456/1457 (70615 ms)
Store size 936G | 6/6 Block 1456/1457 (109154 ms)
Generated points: 96805995, lines: 57330, polygons: 230216847
Attributes: 39368024 sets from 1386068992 objects (263747584 uncached), 839022592 pairs (173235200 uncached)
Creating pmtiles at tilemaker.pmtiles
indexed 32496399 contended objects
osm: finalizing z6 tile 4096/4096 (668077 ms)
osm: finalizing z6 tile 4096/4096 (0 ms)
indexed 585 contended objects
shp: finalizing z6 tile 4096/4096 (473 ms)
shp: finalizing z6 tile 4096/4096 (1 ms)
Using dense index for .pmtiles
collecting tiles: 25307ms, filtering tiles: z0 (1, 0ms) z1 (4, 0ms) z2 (16, 0ms) z3 (64, 0ms) z4 (256, 0ms) z5 (1024, 0ms) z6 (4096, 0ms) z7 (16384, 0ms) z8 (65519, 1ms) z9 (261431, 4ms) z10 (1038742, 18ms) z11 (4112373, 68ms) z12 (16251043, 300ms) z13 (64193144, 1172ms) z14 (253695634, 4657ms)
z6/63/39, writing tile 339639731 of 339639731               
Closing pmtiles file
Filled the tileset with good things at tilemaker.pmtiles

real    227m49,118s
user    4420m3,952s
sys 343m53,909s

Le pmtiles final fait... 65Go