search

osm-fr / infrastructure

Handle tickets against osm-fr infrastructure
MIT License
21 stars 4 forks source link

Serveur pour suivi des modifications entre les différentes livraisons du cadastre #479

Open Ptigrouick opened 12 months ago

Ptigrouick commented 12 months ago

J'aurai besoin d'un serveur Debian (de préférence) pour la mise en place de l'outil dont j'ai parlé ici : https://forum.openstreetmap.fr/t/proposition-de-creation-dun-outil-de-suivi-des-modifications-du-cadastre/16039

cquest commented 12 months ago

Tu peux préciser les ressources nécessaires (CPU/RAM/Stockage) pour démarrer et pour la suite ?

Une idée des technos que tu va utiliser ?

Marc-marc-marc commented 12 months ago

et lui trouver un nom (qui peux tjs changer par la suite) :)

Ptigrouick commented 11 months ago

Alors pour le choix de l'OS ma préférence va clairement à Debian. Ce que je voudrais y mettre c'est un serveur PostgreSQL/PostGIS avec des scripts Python qui tournent par dessus + un serveur WMS, je pencherai plutôt pour QGIS-Server que je connais bien. A noter que le système seul me suffit pour démarrer. Avec les droits root, je me charge d'installer les paquets nécessaires et de tout configurer. CPU/RAM je ne suis pas trop un spécialiste. Ce qu'il faut pour faire tourner un serveur PostgreSQL avec des requêtes de modification qui ne seront faites que tous les 3 mois et le reste du temps en fonctionnement lecture pour générer des tuiles raster en WMS. Pour l'espace de stockage un fichier geojson du cadastre pour un département fait environ dans les 50Mo, x100 pour l'ensemble des départements on monte à 5Go par livraison. Sachant que ça prendra moins de place en BD PostgreSQL, mais bon pour pas prendre de risque on va dire quand même 5Go. Actuellement il y a 18 livraisons disponibles ça nous fait 90Go d'entrée + 5Go nécessaire tous les 3 mois. 200Go serait donc confortable pour le moment. Pour le nom ben... j'avais pas trop réfléchi ! "cadristo" ça vous va ? ;-) Merci !

cquest commented 11 months ago

Donc plutôt une question de stockage... car 200Go ça commence à faire sur certains serveurs.

Vérifies bien tes volumes, compressé bien sûr et l'import dans PG a plutôt tendance à être plus volumineux que le geojson compressé.

HDD ou SSD ou mixte (SSD pour PG et HDD pour des fichiers statiques) ?

Ptigrouick commented 11 months ago

Ok merci je ne savais pas pour le volume de stockage plus important en base. Les fichiers statiques une fois importés en base, je ne les conserverai pas. Oui SSD pour PG ce sera clairement mieux. Mais du coup l'espace HDD des fichiers statiques sera plutôt réduit. Les scripts Python c'est pas ça qui prend de la place. ;-)

Ptigrouick commented 9 months ago

Christian on en a parlé lors de mon passage chez toi à Paris. Je voudrais savoir si ce serait possible de me mettre à disposition le serveur. Effectivement ce serait sans doute plus pertinent de jouer sur les valeurs attributaires pour comparer les différentes livraisons du cadastre. Mais il faudra de toute façon que je puisse les stocker en base PostgreSQL pour faire les requêtes de comparaison. En supplément, une comparaison avec les bâtiments OSM me semble intéressante aussi, même si il risque d'y avoir des faux positifs dans les zones à fort décalage.

Le but final est de produire des flux wms afin de mettre en évidence les manques dans OSM, ce qui aiderait les contributeurs. Après je ne sais pas ce qui est possible au niveau SSD / HDD sur les serveurs OSM ?