georchestra / cadastrapp

Cadastre application for geOrchestra
GNU General Public License v3.0
10 stars 18 forks source link

[qadastre] Explosion des tailles des vues avec plusieurs départements/lots QGIS #375

Closed landryb closed 6 years ago

landryb commented 6 years ago

Je suis en train de passer mon instance de cadastrapp de 4 à 12 départements, et le passage a l'échelle est... compliqué. Chaque département est importé dans un 'lot' indépendant (ie le lot pour le modele qadastre de QGIS)

Techniquement, la taille de majic/edigeo est multipliée par 3/4, mais certaines vues/tables explosent beaucoup plus.

Je gratte un peu les tailles de tables/vues, et certaines choses sont incohérentes:

cadastrapp=> SELECT count(*) from cad2017_auvergne.proprietebatie;
  count
---------
 3501192
cadastrapp=> SELECT count(*) from cad2017.proprietebatie;
  count
----------
 52914818

C'est impossible de passer de 4 a 12 départements et de multiplier la taille totalle par ~12.

Et j'ai bien l'impression que pour certaines vues (je n'ai regardé que proprietebatie pour l'instant) il y'a autant de doublons que de 'lots' qgis:

cadastrapp=> SELECT count(*) from cad2017_auvergne.proprietebatie where id_local='20170300010001244';
 count
-------
     4
cadastrapp=> SELECT count(*) from cad2017.proprietebatie where id_local='20170300010001244';
 count
-------
    12

Techniquement, pour un objet 'proprietebatie' du 03 je ne devrais avoir qu'une entrée.. et les X entrées sont identiques dans les 2 cas.

      Schema      |      Name      |       Type        |   Owner    |  Size  | Description 
------------------+----------------+-------------------+------------+--------+-------------
 cad2017          | proprietebatie | materialized view | cadastrapp | 12 GB  | 
 cad2017_auvergne | proprietebatie | materialized view | cadastrapp | 758 MB | 
 cad2017          | proprietenonbatie | materialized view | cadastrapp | 4135 MB |
 cad2017_auvergne | proprietenonbatie | materialized view | cadastrapp | 1232 MB |

Autant dire qu'avec des tailles pareilles, postgres ne suit pas, et il est impossible de requêter des batiments...

J'ai regardé les tables uf_parcelle, parcelle, proprietaire et dans ces cas la taille est multipliée par ~3/4 donc cette croissance a l'air plus "logique". Il faudrait certainement refaire une passe sur toutes les tables/vues materialisées en faisant des tests avec plusieurs lots/departements..

landryb commented 6 years ago

Après avoir regardé un peu plus en détails, j'ai l'impression que c'est aussi lié a des imports incrémentaux dans mon schéma dans la BDD qadastre - je vais refaire un test à partir d'un schema vierge, mais il n'empeche que quelquechose cloche qqpart dans cette vue..

landryb commented 6 years ago

J'ai maintenant l'impression que c'est un pb lors de l'import dans le modele QGIS lui-meme, cf 3liz/QgisCadastrePlugin#121

MaelREBOUX commented 6 years ago

Avoir en tête ma question sur les lots, leur usage et leur implémentation dans cadastrapp -> #333

landryb commented 6 years ago

Techniquement, c'était un bug de l'import dans le modèle QGIS, donc je ferme celui-ci.