search

osm-fr / infrastructure

Handle tickets against osm-fr infrastructure
MIT License
21 stars 4 forks source link

Mise en place d'une VM pour le groupe OSM Plein Air #464

Open pyrog opened 1 year ago

pyrog commented 1 year ago

Le groupe a besoin d'une VM sous Debian pour mettre en place temporairement une instance de waymarked trails. Elle serait déployée sous le nom de domaine pleinair.openstreetmap.fr (à défaut outdoor.openstreetmap.fr).

Il faudrait à minima un accès SSH pour moi et Stéphane (@StC-OSM).

Le but est d'améliorer le code, le rendu, tester de nouvelles fonctionnalités.

Nous avons besoin de 150 Go pour charger les données de la France. Moins si on se limite à une région.

Merci d'avance 😃

PS: Voici les caractéristiques indiquées par Sarah Hoffmann.

La base de données pour la planète fait 310 GO + 80 GO pour les positions de noeuds. Pour la France ça sera beaucoup moins, peut-être 30 + 80 GO.

Je fais très peu de 'caching' de tuiles. 7 GO pour la planète en ce moment. La plupart des tuiles sont créées sur demande.

Si tu veux avoir le DEM, tu aura besoin de 50 GO de plus.

jocelynj commented 1 year ago

@pyrog : on partirait sur un container dédié pour la base postgresql - est-ce que ça marcherait pour l'instance de waymarked trails ?

pyrog commented 1 year ago

En théorie oui. Sarah m'a montré le début de l'installation de WMT (backend) en partant d'une VM Debian puis en rajoutant Postgresql, PostGIS…

Mais en pratique j'ai peur qu'on soit bloqué par pleins de détails et qu'au final on n'arrive pas à faire l'installation de WMT.

Est-ce que tu peux installer un Debian "vierge" dans un premier temps ? On (Stéphane et moi) reproduit la procédure d'installation de Sarah, et une fois qu'on a compris comment tout ça fonctionne on peut retenter sur un conteneur pour Postgresql ?

Je peux aussi lui demander son avis. As-tu une description de ce conteneur ?

jocelynj commented 1 year ago

Pas de souci: on va démarrer avec 2 container:

La première est en cours d'install, mais je n'ai pas créé de compte pour Stéphane, vu que je n'ai pas sa clé ssh.

StC-OSM commented 1 year ago

Hello !

La voici :

ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIHAtO6RudZerjZ2EgbqlN+395fJQPCkZBMSgBKT4QAYD StC-OSM

St.

Le 1 juil. 2023 à 22:22, jocelynj @.***> a écrit :

Pas de souci: on va démarrer avec 2 container:

pleinair.vm.openstreetmap.fr, où tu pourras tester l'install complète, avec une petite région de préférence postgres-ovh.vm.openstreetmap.fr, où on mettra la base après réinstall La première est en cours d'install, mais je n'ai pas créé de compte pour Stéphane, vu que je n'ai pas sa clé ssh.

— Reply to this email directly, view it on GitHub https://github.com/osm-fr/infrastructure/issues/464#issuecomment-1616088260, or unsubscribe https://github.com/notifications/unsubscribe-auth/AX3Q3HCL4ZQA2GLN3WEPFYLXOCBGTANCNFSM6AAAAAAZZ36ROQ. You are receiving this because you were mentioned.

jocelynj commented 1 year ago

J'ai ajouté ton compte stephanec, avec accès sudo. Pour info, la VM n'est accessible qu'en ipv6 - merci de me dire si il faut un pont ipv4-ipv6 pour l'accès.

Pour le site web pleinair.openstreetmap.fr, vous avez besoin que je créé l'entrée avant que ce ne soit installé ?

pyrog commented 1 year ago

Merci @jocelynj pour les 2 conteneurs 😎

Nous n'arrivons pas à nous y connecter en SSH. Il n'y a pas de résolution de noms. De plus nous avons tous les 2 des macs, et moi je suis connecté sur mon téléphone portable, donc je n'ai pas de box configurable. Devons nous utiliser l'adresse IP V6 de la machine ou faut-il la passerelle IP V6 vers V4 ?

Question subsidiaire : est-ce des conteneurs Docker ? Ou au moins la première est-elle un serveur virtuel visible comme une "vraie" machine sous Debian.

Marc-marc-marc commented 1 year ago

je laisse @jocelynj faire la partie dns vu que je n'ai pas l'ip

tu as besoin de rebond ipv4 vers ipv6 uniquement si ton fournisseur est à la préhistoire (taquinerie vu qu'on est en 2023) et n'as pas d'ipv6 fonctionnelle, sinon tu n'en as pas besoin

ce sont des CT vu par debian comme une machine, même si c'est tout a fait détectable que c'est une machine lxc et non physique. cependant cela n'a en pratique pas d'importance. docker est activable si @jocelyn ne l'a pas fait

pyrog commented 1 year ago

On a réglé nos mac en IP V6. Stéphane sa box et moi le protocole APN de mon téléphone. Ça passe 😄 (Il faut juste garder APN V4/V6 car GitHub entre-autres et en IP V4 uniquement)

pyrog commented 1 year ago

Je ne retrouve pas ma clé privée utilisée en décembre 2020 pour Mobilizon, ni le compte utilisateur.

Pouvez-vous utiliser celle-ci ?

ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABgQC4D2tkwl3YGqgJoUpQSl1r1PwX4ftsXtXQOjVQoUHkpUyKjR55G9rKJB0/AnYICrx1VFoJfBFlaW8+WlqXw9LmEefg11Q3eBDxWxzfDZOyZBicf2iB72vdxcQcV8kwSyCnqtzZowVrAzCWH045fTOC2pp6zMAuqAYefV9sdY+PQzPaehLe5vGPco9CMp+Wva2TX3+KuYZrVlwTfxpzHb6BAN5sFTw/ud2N5767dQES3391ia/aPo4Ou7LsMEVYUnWW9WXEP4eMhH3OMlUOTE8FhBpi9ChomTiGNLp+7EMnH2K5ZgqsV75rcxyPZvDsvECufmj72wRZ2M1dTlXTR9fm0rAYSBUgdxQTvf5dMbNQSufYs7MOKUmJGYFOhBXzBbsdWcDVNJpPmsNiMqOPdM807Mc4Lmpr+0q7z1FHRsfA1h5D3YK4ruvR2CqhGjeMP7chCuVADfl2Mt92ZJPTFZ14p3q21Av9/bekZoYihFhhrIO0eTNb0GaP0u3ton+iDoE= yves.pratter@gmail.com

Et pour le compte soit yves, soit pyrog (qui est mon pseudo OSM) ?

jocelynj commented 1 year ago

Le compte est pyrog, et je viens de t'ajouter cette clé ssh.

StC-OSM commented 1 year ago

Bonjour,

et merci pour la mise à disposition du serveur virtuel pleinair.vm.openstreetmap.fr http://pleinair.vm.openstreetmap.fr/ ! Nous venons de réussir à faire tourner une instance de développement de Waymarkedtrails, ce qui devrait nous permettre d’expérimenter des évolutions du code.

Maintenant que l’appli tourne, on peut envisager de finaliser la configuration réseau.

  1. DNS

Actuellement, une configuration de nginx permet d’accéder à l’application sur http://pleinair.vm.openstreetmap.fr/waymarkedtrails/.

Idéalement, on permettrait l’accès à l’application depuis https://pleinair.openstreetmap.fr/waymarkedtrails. J’imagine qu’il y a une manip de DNS et de certificat à faire ?

  1. ports et sécurité

Un coup d’œil rapide avec ufw semble indiquer que de nombreux ports sont accessibles sur la machine. Faut-il sécuriser le serveur en fermant des ports ? Ou bien y a-t-il un firewall ailleurs que sur la machine elle-même ?

A bientôt,

St.

Le 3 juil. 2023 à 18:11, Marc-marc-marc @.***> a écrit :

je laisse @jocelynj https://github.com/jocelynj faire la partie dns vu que je n'ai pas l'ip

tu as besoin de rebond ipv4 vers ipv6 uniquement si ton fournisseur est à la préhistoire (taquinerie vu qu'on est en 2023) et n'as pas d'ipv6 fonctionnelle, sinon tu n'en as pas besoin

ce sont des CT vu par debian comme une machine, même si c'est tout a fait détectable que c'est une machine lxc et non physique. cependant cela n'a en pratique pas d'importance. docker est activable si @jocelyn https://github.com/jocelyn ne l'a pas fait

— Reply to this email directly, view it on GitHub https://github.com/osm-fr/infrastructure/issues/464#issuecomment-1618802938, or unsubscribe https://github.com/notifications/unsubscribe-auth/AX3Q3HHU4ERN5I3M2Y6L32DXOLVKJANCNFSM6AAAAAAZZ36ROQ. You are receiving this because you were mentioned.

tykayn commented 10 months ago

je crois qu'il y a un système de bastion pour sécuriser les accès, mais il faudrait que quelqu'un d'autre confirme.

concernant ce ticket je pense qu'il a été résolu maintenant que le serveur est fonctionnel, on peut donc fermer.

jocelynj commented 2 months ago

Je vois qu’on n’a pas fini la configuration de ce serveur, désolé :(

Est-ce qu’il manque juste la config du DNS ? Et est-ce que ça vous embête de changer de machine avant d’activer ?

StC-OSM commented 2 months ago

Bonjour,

si si, ce serveur a fonctionné et donné satisfaction pendant plusieurs mois. Et lorsqu’il a cessé de fonctionner, nous aurions dû alerter mais comme souvent avec OSM l’appel des ajouts dans la base au quotidien a été plus fort :-)

Aucun pb pour le changer de machine, mais allons-nous retrouver nos données en l’état ?

A bientôt,

St.

Le 8 juil. 2024 à 21:39, jocelynj @.***> a écrit :

Je vois qu’on n’a pas fini la configuration de ce serveur, désolé :(

Est-ce qu’il manque juste la config du DNS ? Et est-ce que ça vous embête de changer de machine avant d’activer ?

— Reply to this email directly, view it on GitHub https://github.com/osm-fr/infrastructure/issues/464#issuecomment-2215027957, or unsubscribe https://github.com/notifications/unsubscribe-auth/AX3Q3HAH3Y2XGJG62J2FLBDZLLTHDAVCNFSM6AAAAABKROVPOWVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDEMJVGAZDOOJVG4. You are receiving this because you were mentioned.

jocelynj commented 2 months ago

Oui, ça sera une migration en gardant les données: la seule chose qui devrait changer, c’est l’ip pour accéder à la machine, si tout se passe bien :)

Je rajouterai une entrée pleinair.openstreetmap.fr après migration.

jocelynj commented 1 month ago

La VM a été migré sur un autre cluster, et http://pleinair.openstreetmap.fr configuré sur le proxy.

Je vous laisse fermer le ticket quand le site marche correctement ?

StC-OSM commented 1 month ago

Merci beaucoup ! Il nous reste à tester et réactiver les actions en cours de notre côté.

A bientôt,

St.

Le 16 juil. 2024 à 20:50, jocelynj @.***> a écrit :

La VM a été migré sur un autre cluster, et http://pleinair.openstreetmap.fr http://pleinair.openstreetmap.fr/ configuré sur le proxy.

Je vous laisse fermer le ticket quand le site marche correctement ?

— Reply to this email directly, view it on GitHub https://github.com/osm-fr/infrastructure/issues/464#issuecomment-2231603047, or unsubscribe https://github.com/notifications/unsubscribe-auth/AX3Q3HEYXWXK7BKAPHUVZITZMVTQNAVCNFSM6AAAAABKROVPOWVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDEMZRGYYDGMBUG4. You are receiving this because you were mentioned.