Performance Seeder verbessern

schmandr commented 6 years ago

Der Seeder Cron Job braucht 10 Stunden und mehr. Diese Zeit muss kürzer werden.

Mögliche Ansätze:

[ ] Testen mit GlusterFS
[ ] Testen, die Tiles zuerst irgendwo auf das Filesystem des Containers zu schreiben und erst danach aufs Volume docker-mapcache-tiles zu verschieben
[x] Eigenen QGIS Server im OpenShift-Projekt betreiben; hier ist dann jedoch daran zu denken, dass QGIS Server Zugriff auf die Rasterdaten benötigt
[x] Nur neu gelieferte Gemeinden neu kacheln
[ ] Es gibt bestimmt weitere Möglichkeiten

schmandr commented 5 years ago

Beispiel und Informationen zur Variante Nur neue geliferte Gemeinden neu kacheln:

https://github.com/edigonzales/qwc2-background-layer-seeding

ogrinfo -al PG:"host=localhost user=ddluser dbname=pub password=XXXXXX" -sql "SELECT t_id, ST_Buffer(geometrie, 1000) as geometrie FROM agi_mopublic_pub.mopublic_gemeindegrenze WHERE importdatum = (SELECT max(importdatum) FROM agi_mopublic_pub.mopublic_gemeindegrenze)"

mapcache_seed -c /opt/mapcache/mapcache.xml -f -g 2056 -t ch.so.agi.hintergrundkarte_sw -z 11,14 -n 4 -d PG:"host=localhost user=ddluser dbname=pub password=XXXXXX" -s "SELECT
ST_Union(geometrie) as geometrie FROM
agi_mopublic_pub.mopublic_gemeindegrenze WHERE importdatum = (SELECT
max(importdatum) FROM agi_mopublic_pub.mopublic_gemeindegrenze) GROUP BY importdatum"

schmandr commented 3 years ago

Wir seeden seit Längerem nur noch die neu gelieferten Gemeinden. So dauert das Seeden meist ca. 1h bis 2h.

sogis / docker-mapcache

Performance Seeder verbessern #3