Décommissionnement d'osm12 pour son upgrade vers cluster-free

cquest commented 3 years ago

Il reste encore 3 containers openvz en fonctionnement sur osm12, voici la liste avec les services figurant dans le /data/project de chacun + leur config apache, rayé si plus actif :

[ ] osm104 (~~bano1~~, ~~cadastre~~, ~~osmbin~~, ~~osmose~~ + ~~cadastre-joker~~, imagery)
[x] osm105 (~~layers~~)
[x] osm108 (osmbin/osmose/polygons)

(à mettre à jour au fur et à mesure de l'avancement)

cquest commented 3 years ago

osm105 me semble désormais totalement inutilisé, le rendu des tuiles "layers" ayant migré sur osm13. Je l'ai stoppé avant suppression.

cquest commented 3 years ago

Sur osm104, il reste:

http://cadastre.openstreetmap.fr : interface pour extraire les données des PDF du cadastre, ce qui ne présente plus d'intérêt depuis que ces données sont dispo en opendata vectoriel. Quelques accès marginaux dans les logs. A supprimer ?
cadastre-joker : proxy (ruby) vers les WMS du cadastre pour afficher en TMS le cadastre dans JOSM et autres éditeurs. A déplacer ?
imagery.openstreetmap.fr : couches d'orthos anciennes utilisées pour les crises et urgences. A fusionner avec wms.openstreetmap.fr ?

jocelynj commented 3 years ago

osm108 est en cours de migration sur osm14, sur download.vm.openstreetmap.fr. Et par ailleurs, on n'aura plus d'osmose dessus, parce que la vérification des polygones administratifs se fait maintenant via la base osmosis de chaque pays.

Je pense que osmose+osmbin sur osm104 ne sont plus utilisés.

jocelynj commented 3 years ago

Pour http://cadastre.openstreetmap.fr, je propose de couper le service, en redirigeant vers une page du wiki disant que le service n'est plus actif, et de contacter tech@ si nécessaire.

frodrigo commented 3 years ago

Osmose n'utilise plus osmbin.

Marc-marc-marc commented 3 years ago

https://cadastre.damsy.net se sert de http://cadastre.openstreetmap.fr parce que qu'attendre une (hypothétiquement) maj trimestrielle du cadastre vectoriel par etalab est trop lent pour ajouter un nouveau batiment il y a aussi le code addr:housenumber vers bâtiment qui n'existe pas encore sur https://bano.openstreetmap.fr/

cquest commented 3 years ago

Effectivement, il y a parfois des données temporairement plus à jour sur cadastre.gouv.fr mais c'est quand même l'exception plus que la règle et le décalage ne doit pas dépasser 3 mois justement.

cadastre.openstreetmap.fr fonctionne avec du code ancien plus maintenu (à ma connaissance) et en scrappant les PDF du cadastre, ce qui ne devrait plus être nécessaire aujourd'hui.

Entre un service non maintenable utilisé pour gagner parfois quelques mois, et quelque chose de stable avec un petit décalage je pense qu'il faut jouer la stabilité.

Qui est derrière cadastre.damsy.net ?

Marc-marc-marc commented 3 years ago

quand on ajoute un bâtiment récent manquant, 6 mois (quand c'est pas pire) de différence entre 2 sources n'est pas négligeable au point que je n'utilise jamais etalab pour ce genre de tâche, trop peu fiable. il y a une grande différence entre couper volontairement un service fonctionnel qui utilise la source la plus fiable. et le service est non maintenu (il y a + de contributeurs récent que d'autres "maintenu mono-contributeur") ce qui compromet sa viabilité.

le dépôt git de cadastre.damsy.net renseigne Gautier P (bagage), il est actif dans ta fenêtre irc :) son site n'est pas qu'un import du cadastre, c'est + que cela : recherche de lieu nécessitant un import sur base de la date ou de "cas d'école" : bâtiment nœud, absence d'église, ...), avec conflate prémaché de l'existant. à mes yeux cela classe le téléchargement vectoriel brut tel qu'il est actuellement dans la catégorie bricolage :-)

pour résoudre le soucis du mainteneur qui n'est plus actif sur le projet, le mieux serrait de nommer Gauthier mainteneur comme il s'était proposé il y a longtemps, c'est d'ailleurs lui qui a écrit la majorité des PR ces 12 derniers mois.

cquest commented 3 years ago

Si @bagage souhaite maintenir le code de cadastre.openstreetmap.fr et le service, ce sera avec plaisir, mais c'est à lui de décider !

Il faut par contre le redéployer sur un container récent, car là ça tourne dans un vieux conteneur openvz avec plein d'autres trucs qui partent à la benne.

bagage commented 3 years ago

Je n'aurai pas le temps ni les compétences pour le maintenir - probablement que mon site passera en veille aussi (les imports les plus prioritaires ont été réalisé).

deuzeffe commented 3 years ago

C'est vraiment très très dommage de fermer cadastre.osm s'il n'y a pas d'alternative qui amène autant de précision. D'ailleurs, l'alternative est ?

vdct commented 3 years ago

@deuzeffe sur quelle(s) fonctionnalité(s) n'y a-t-il pas d'alternative ?

JacLavi commented 3 years ago

C'est vraiment très très dommage de fermer cadastre.osm s'il n'y a pas d'alternative qui amène autant de précision. D'ailleurs, l'alternative est ?

Je plussoie : Avant de fermer un service ne serait-il pas judicieux d'en discuter largement sur un canal plus « main stream » Essayer par exemple de savoir si il est utilisé ?

cquest commented 3 years ago

Sur ces 2 dernières semaines, il y a en moyenne quotidienne 3 IP qui récupèrent des fichiers générés (j'ai viré les bots).

Aspect technique : ce service tourne dans un vieux conteneur (osm104), sur un vieux serveur (osm12, CentOS 6 + openvz) qu'on veut remettre à niveau pour plein d'autres usages (l'intégrer au cluster free)

Aspect humain : si personne n'est disponible pour redéployer ce service d'extraction de PDF dans un conteneur plus récent et maintenable, puis le maintenir, on ne peut pas mobiliser ad vitam æternam une machine entière pour un service à l'usage devenu assez marginal que personne ne maintient.

Pour les volontaires potentiels, le code derrière ce service se trouve sur https://github.com/osm-fr/export-cadastre (50% C++, 40% python)

jocelynj commented 3 years ago

Vu que ça ne sert que pour importer des batiments, ça me parait logique que l'utilisation ne soit pas bien fréquente. 3 IPs par jour me parait déjà pas mal.

Mais je repose la question: quelle est l'alternative pour importer des batiments du cadastre dans OSM ?

Marc-marc-marc commented 3 years ago

les alternatives sont :

afficher la couche cadastre et dessiner par dessus
ouvrir josm, télécharger depuis le cadastre via etala

JacLavi commented 3 years ago

Si il y a peu de fréquentation c'est peut-être que ce service est peu connu ? Moi-même l'ai découvert à l'occasion de cette discussion et depuis je m'en sers :)

La suite sur talk@ ? Car je crois que la question n'est pas que technique.

deuzeffe commented 3 years ago

@vdct c'est justement parce que je ne connais pas l'alternative que je demande, tout comme @jocelynj

@Marc-marc-marc

les alternatives sont :

afficher la couche cadastre et dessiner par dessus

pouahbeurk :P

* ouvrir josm, télécharger depuis le cadastre via etalab

Et après ? (suis bleuette, je te rappelle...)

@cquest j'entends bien et ces difficultés techniques et d'occupation de temps humains sont connues.

Donc, quelle alternative ? Si elle existe, ok. Sinon...

cquest commented 3 years ago

JOSM permet de télécharger directement les données du cadastre (4ème onglet dans "Télécharger les données...")

On peut choisir la zone et le type d'objets à récupérer, typiquement bâtiments et adresses mais les autres infos sont aussi disponibles. C'est brut, sorti des données vectorielles en opendata.

bagage commented 3 years ago

La seule limitation (non négligeable malheureusement) étant que ces données ne sont mises à jour que 4 fois (a confirmer?) par an et ont donc un retard de plusieurs mois par rapport aux données directement extraites des pdf. Pour ma part (cadastre.damsy.net) j'ai fais le choix d'utiliser l'ancienne méthode pour cette unique raison, tant que la fréquence de maj etalab n'est ni stable (plusieurs fois des maj ont été oublié) ni assez élévée (1 par mois serait bien a mon avis).

cquest commented 3 years ago

Oui et non... car autant que je sache les données des PDF sont remise à jour une fois par an par commune. Donc entre les données opendata et les PDF:

pour 3/4 des communes, il n'y a pas de retard,
pour 1/4 il y a un retard d'au pire 3 mois.

Les données opendata contiennent d'autres infos... comme la date d'ajout dans le plan, ce qui facilite le repérage des nouveaux bâtiments.

Pour l'opendata, à ma connaissance il y a eu 1 mise à jour seulement de "sautée", ce printemps pendant le confinement, sinon à quelques semaines près c'est stable et si ça ne l'est pas j'ai le contact direct avec la personne qui s'en occupe.

deuzeffe commented 3 years ago

@cquest vu (c'est le 3e onglet, dans mon JOSM de bleuette ^^). Mais ça ne résout pas, pour l'instant, le pb de @bagage :(

cquest commented 3 years ago

Message envoyé sur talk-fr@

Marc-marc-marc commented 3 years ago

On peut choisir la zone

non, uniquement des planches cadastrales d'une zone.

C'est brut

c'est la moitié des problèmes que résout le projet de bagage : éviter de tout faire à la main

la date d'ajout dans le plan

c'est mis quel tag dans josm ?

bon bref, j'avais proposé jadis de faire un rsync entre la vm et une nouvelle histoire de sortie cadastre.osm-fr de osm12 sans s’embourber dans des dépendances chronophage

cquest commented 3 years ago

@Marc-marc-marc n'hésites pas si tu veux procéder ainsi (rsync vers nouveau CT) si tu penses que c'est jouable.

jocelynj commented 3 years ago

J'ai testé de mon côté l'onglet pour télécharger le cadastre dans JOSM, et j'ai trouvé ça bien plus pratique que de passer par http://cadastre.openstreetmap.fr.

Il y aurait juste cette page du wiki à mettre à jour pour recommander de passer directement par JOSM: https://wiki.openstreetmap.org/wiki/France/Cadastre/Import_semi-automatique_des_b%C3%A2timents

deuzeffe commented 3 years ago

@Marc-marc-marc @jocelynj on continue sur talk-fr comme suggéré par @JacLavi (en changeant éventuellement l'objet du courriel ?). Parce que j'ai des choses à dire moi aussi ;P (et ça n'a rien à voir avec l'infra...)

JacLavi commented 3 years ago

@deuzeffe vazy.

tyndare commented 3 years ago

Je ne peux pas m'engager à avoir le temps de le maintenir mais je peux essayer de prendre du temps pour porter cadastre.openstreetmap.fr, Quel type de conteneur ou vm serait disponible pour l'héberger ?

cquest commented 3 years ago

L'actuel est un conteneur openvz sous debian jessie, on passerait à un LXC sous debian buster.

tyndare commented 3 years ago

cadastre: J'ai essayé de recompiler et exécuter sun une debian buster, j'ai passé le code python2 en python3. L'import du bâti semble fonctionner, pas le reste qui nécessite une base de donné PostGIS. Il faudrait voire si on cherche a conserver d'autre trucs, comme l'import des adresses, ou si c'est inutile et on fait le ménage dans l'interface.

https://github.com/osm-fr/export-cadastre/tree/lxc-buster-migration

vdct commented 3 years ago

L'import des adresses peut être supprimé, le code derrière ça a 6 ans sans trop de maintenance, la BD Postgis n'est plus là, et les fonctionnalités principales sont maintenant présentes sur https://bano.openstreetmap.fr/fantoir/

jocelynj commented 3 years ago

osm108 a été migré sur download.vm.openstreetmap.fr Je couperai la VM osm108 dans les jours qui viennent.

jocelynj commented 3 years ago

@tyndare : Tu as besoin de quelque chose de la part d'osm-fr, comme une VM ? N'hésite pas à ouvrir un ticket sur le sujet.

tyndare commented 3 years ago

@jocelynj Merci, oui j'aurais besoins d'une VM, j'ai créé le ticket #250

@bagage est-ce problématique pour cadastre.damsy.net si le nom des fichiers générés par cadastre.openstreetmap.fr changent (j'ai rajouté le code postale entre parenthèse après le nom de chaque commune, ça parraisait plus claire dans l'interface, mais je peux faire en sorte que ça n’apparaisse pas dans le nom des fichiers si c'est génant).

cquest commented 3 years ago

@tyndare bof bof (et re-bof) pour le code postal, pour ce type de données, notre référentiel c'est le code INSEE de la commune, jamais de CP (pas unique, multiple, etc).

bagage commented 3 years ago

Et autant moi ça me dérange pas spécialement (je peux adapter le code) autant il peut y avoir d'autres outils abandonware qui seraient cassés par ce changement, ca serait dommage.

tyndare commented 3 years ago

OK je vais reprendre l'ancien nommage.

jocelynj commented 3 years ago

Merci à @tyndare d'avoir installé une nouvelle instance sur cadastre.vm.openstreetmap.fr @bagage : est-ce que tu veux faire des tests depuis https://cadastre.damsy.net ? Ça peut se tester en changeant temporairement /etc/hosts pour utiliser l'IP de cadastre.vm.openstreetmap.fr pour cadastre.openstreetmap.fr

bagage commented 3 years ago

@jocelynj OK pour tester, est-ce que tu aurais une IPV4 que je peux utiliser pour tester ? Visiblement cadastre.vm.openstreetmap.fr n'est dispo qu'en IPV6 et perso j'en ai ~pas~ plus.

tyndare commented 3 years ago

Merci @jocelynj pour la création de la vm et l'aide pour la configurer. Les adresses IP4 ou IPV6 ça dépasse mes compétences. Pour la vm c'est OK de mon côté pour basculer http://cadastre.vm.openstreetmap.fr en service principal et désactiver l'ancien.

JacLavi commented 3 years ago

Si je puis signaler deux typo (dyslexie) : ! L'interface fatoir de BANO premet d'ajouter.

J.

tyndare commented 3 years ago

@JacLavi merci beaucoup, j'ai corrigé.

jocelynj commented 3 years ago

Je vais basculer le DNS du coup, et @bagage pourra confirmer si ça marche une fois la bascule faite.

jocelynj commented 3 years ago

@cquest: Sur ta liste pour osm104, il reste cadastre-joker et imagery. Il me semble que imagery a été migré chez toi. Pour cadastre-joker, je ne sais pas trop à quoi ça correspond.

frodrigo commented 3 years ago

cadastre-joker c'est le proxy TMS du cadaste. C'est moi qui ai fait ça. Je peux le porter dans un docker, pour le reinstaller n'importe où.

cquest commented 3 years ago

Pour osm104/imagery, il faut que je m'assure d'avoir recopié toutes les données... ce qui sera plus rapide avec la fibre ;)

jocelynj commented 3 years ago

@frodrigo: VM créé sur cadastre-joker.vm.openstreetmap.fr, avec nesting activé pour docker.

Tu me diras quel DNS tu voudras pour le site web ?

frodrigo commented 3 years ago

J'ai migré le projet cadastre-jocker en docker. J'ai commencé l'install sur la vm il y a deux jours, mais c'était très lent (du au host sûrement). Aujourd'hui je n'arrive pas à connecter en ssh dessus. En ssh "debug1: Connection established.", mais pas plus.

jocelynj commented 3 years ago

Il y a effectivement un souci sur cette VM, peut-être lié à la config nesting ?

Je l'ai coupé, et il faudra la réinstaller un autre jour.

osm-fr / infrastructure

Décommissionnement d'osm12 pour son upgrade vers cluster-free #243