Jean-Baptiste-Lasselle / jbl-osm-original

I started from https://shinesolutions.com/2016/12/30/generating-high-res-maps-with-mapnik-and-docker/
Apache License 2.0
0 stars 0 forks source link

CLUSTER_CONFIG #8

Open Jean-Baptiste-Lasselle opened 6 years ago

Jean-Baptiste-Lasselle commented 6 years ago

Bon ok,j'ai trovué un nouvreau truc :+1:

opt: connection refused
2018/10/28 02:11:19 renderselector.go:117: [DEBUG] '%v' is %v localhost:8090 Offline
2018/10/28 02:11:49 renderselector.go:209: [DEBUG] ping error %v dial tcp 127.0.0.1:8090: getsockopt: connection refused
2018/10/28 02:11:49 renderselector.go:117: [DEBUG] '%v' is %v localhost:8090 Offline
2018/10/28 02:12:19 renderselector.go:209: [DEBUG] ping error %v dial tcp 127.0.0.1:8090: getsockopt: connection refused
2018/10/28 02:12:19 renderselector.go:117: [DEBUG] '%v' is %v localhost:8090 Offline
2018/10/28 02:12:49 renderselector.go:209: [DEBUG] ping error %v dial tcp 127.0.0.1:8090: getsockopt: connection refused
2018/10/28 02:12:49 renderselector.go:117: [DEBUG] '%v' is %v localhost:8090 Offline
^C

Je pense, pour terminer, qu'il sera logique de créer des conteneurs renderer, autant que d'hôtes réseau mentionnés dans le ./renderer/map_data/config.json (manifestemenet un fichier de conf gopnik)

p.s.: et au fait : gopnik == mapnik, but written in go?

Jean-Baptiste-Lasselle commented 6 years ago

Ouep, dans le fameux ./renderer/map_data/config.json du conteneur gopnik, il y a mention :

Jean-Baptiste-Lasselle commented 6 years ago

Effectivement, cela a bien changé les logs du renderer :+1:

Désormais, le seul problème qui reste est un erreur d'authentification du serveur GOPNIK, au serveur PostGreSQL.

Et c'est logique, puisque je suis en train de résoudre ce dernier problème, en reconstruisantt de zéro mon stack postgresql / postgis dockerisé (les images et Dockerfiles trouvées dans les repos et doc parcourues présntent souvent le problème de référencer la 'latest', et bien evidemment, 12 mois plus tard, on obtient un plantage. Exemple : dans le [fichier dockerfile suggéré par la documentation Docker](), et que otu ce petit monde semble utiliser sans se poser de question, on un FROM ubuntu. Sauf que python-software-properties n'existe plus sur les repository Ubuntu des releases >= 12.04, et pas de chance, aujourd'hui on est bien plus loin que la rrelease 12.04, dans les latest publiée par Ubuntu.

[jibl@pc-100 proto]$ docker logs -f rendereurpoulet
 ------------------------------------------------------------------------------------------- 
 VERIFICATION RENDERER ENNTRYPOINT : [MAPNIK_POSTGRES_USER=renderer_user] 
 VERIFICATION RENDERER ENNTRYPOINT : [MAPNIK_POSTGRES_DB=bddgeoloc] 
 VERIFICATION RENDERER ENNTRYPOINT : [MAPNIK_POSTGRES_DB_HOST=postgis] 
 VERIFICATION RENDERER ENNTRYPOINT : [MAPNIK_POSTGRES_PASSWORD=whereischarlie] 
 VERIFICATION RENDERER ENNTRYPOINT : [PGUSER=renderer_user] 
 VERIFICATION RENDERER ENNTRYPOINT  : [PGPASSWORD=whereischarlie] 
 ------------------------------------------------------------------------------------------- 

 ----- 
 VERIF JBL dans complie_style.sh de monsieur catactrophe aka 'domman84' [MAPNIK_POSTGRES_DB_HOST=postgis]
 VERIF JBL dans complie_style.sh de monsieur catactrophe aka 'domman84' [MAPNIK_POSTGRES_DB_PORT_NO=5432]
 VERIF JBL dans complie_style.sh de monsieur catactrophe aka 'domman84' [MAPNIK_POSTGRES_DB=bddgeoloc]
 VERIF JBL dans complie_style.sh de monsieur catactrophe aka 'domman84' [MAPNIK_POSTGRES_USER=renderer_user]
 VERIF JBL dans complie_style.sh de monsieur catactrophe aka 'domman84' [MAPNIK_POSTGRES_PASSWORD=whereischarlie]
 ----- 

DB successfully created, waiting for restart
Starting renderer
2018/10/28 02:48:23 renderselector.go:209: [DEBUG] ping error %v dial tcp :8090: getsockopt: connection refused
2018/10/28 02:48:23 renderselector.go:117: [DEBUG] '%v' is %v :8090 Offline
2018/10/28 02:48:23 app.go:266: [INFO] Serving debug data (/debug/vars) on %s... :9080
2018/10/28 02:48:23 app.go:267: [INFO] Serving monitoring xml data on %s... :9080
2018/10/28 02:48:23 main.go:118: [INFO] Starting on %s... :8080
2018/10/28 02:48:23 app.go:266: [INFO] Serving debug data (/debug/vars) on %s... :9090
2018/10/28 02:48:23 app.go:267: [INFO] Serving monitoring xml data on %s... :9090
2018/10/28 02:48:23 render.go:35: [ERROR] Render child error: %v Exception: Postgis Plugin: FATAL:  password authentication failed for user "renderer_user"

2018/10/28 02:48:23 render.go:35: [ERROR] Render child error: %v 

2018/10/28 02:48:23 render.go:35: [ERROR] Render child error: %v Connection string: 'host=postgis port=5432 dbname=bddgeoloc user=renderer_user connect_timeout=4'

2018/10/28 02:48:23 render.go:35: [ERROR] Render child error: %v   encountered during parsing of layer 'landcover-low-zoom' in Layer at line 334 of '/openstreetmap-carto/stylesheet.xml'

2018/10/28 02:48:23 render.go:35: [ERROR] Render child error: %v Exception: Postgis Plugin: FATAL:  password authentication failed for user "renderer_user"

2018/10/28 02:48:23 render.go:35: [ERROR] Render child error: %v 

2018/10/28 02:48:23 render.go:35: [ERROR] Render child error: %v Connection string: 'host=postgis port=5432 dbname=bddgeoloc user=renderer_user connect_timeout=4'

2018/10/28 02:48:23 render.go:35: [ERROR] Render child error: %v   encountered during parsing of layer 'landcover-low-zoom' in Layer at line 334 of '/openstreetmap-carto/stylesheet.xml'

2018/10/28 02:48:23 main.go:91: [CRITICAL] Failed to create tile server: Failed to create some renders: [Invalid read uint64: EOF Invalid read uint64: EOF]
^C
[jibl@pc-100 proto]$ 
Jean-Baptiste-Lasselle commented 6 years ago

Oh purée, le fameux fichier ./renderer/map_data/config.json :+1:

Nom dé diou, c'est un template gopnik pour graver la topologie du cluster .. Dans la confgiuration Docker /etc/docker/daemon.json !!! :-o

cf. https://github.com/sputnik-maps/gopnik/blob/master/example/dockerconfig.json

Tu crois qu'ils aureint ne serait-e que mentionné cela, dansle tutoriel originel shinemachin... :-o :-o !!?? :skull:

Jean-Baptiste-Lasselle commented 6 years ago

Liste des numéros de port mentionnés dans la configuration gopnik ./renderer/map_data/config.json :+1:

Voilà pour la topologie, je pense. REMARQUES IMMEDIATES ! Il y a un probable conflit d'entrée, entre le Dispatcher et le(s) Prerender : ils fot tout deux usage du numéro de port 8090, exectement :8090 signifie plus qu'un numéro de port : ils appellent cela adresse, mais :

Mon Hypothèse à la seule lecture du fichier de configuration

Clairement, j'ai un lien entre le Dispatcher, et Prerender :

Remarque : mauvais design pattern, de configurer dans c fichier-là, l'installation d'une dépendance. On obtient en effet là une adhérence entre les configurations de deux choses très différentes:

Cache => :8080

Jean-Baptiste-Lasselle commented 6 years ago

Hop là, hop là ! => Selon :

http://sputnik-maps.github.io/gopnik/overview.html

Les 'PReRender, il ne servent pas dans le processus de run avec le client, mais pour les opérations standards d'exploitation.

Donc on abien un cluster de PreRendering , pour exécuter une tâche de type BULK BATCH, sur des données : faire le pre-rendering, c'est "remplir" le cache, ne serait-ce qu'au départ, et surement périodiquement, avec les données géographiques. Ensuite, les Renderes prennent le relai :+1:

Périodiquement: à des horaires décidés par une intelligence articficielle, qui analyse les données de monotoring en séries temporelles, etc... La mêem intelligence artificielle utilisera l'apprentissage autmatique de type machine learning, pour appprendre des engeulafdes qu'il prend de la part des humains)

je vais faire mon inmport de données osm2pgsql