Feature: allow use a QGS or QGZ from a remote HTTP server

Guts commented 3 years ago

Close #28 partiellement.

Pardon, j'ai fini tard hier soir donc j'avais plus la force pour une explication. Comme j'aime bien ce plugin, je m'en sers pour remonter en puissance sur le développement de plugins sur mon temps perso.

Principaux changements

côté ui :
- ajout d'une nouvelle colonne pour représenter le type de stockage
- ajout d'un namedtuple représentant l'ordre des colonnes. Sinon j'étais un peu perdu lorsque je voulais les réograniser. Désormais, il faut juste jouer sur l'ordre à un seul endroit.
- j'ai remis le bouton d'édition en premier parce-que c'était en effet plus logique par rapport à l'ergo et la longueur du champ correspondant à l'URI
côté logique du plugin :
- ajout d'une fonction de téléchargement des QGS/QGZ via une URL HTTP. Le projet est téléchargé dans un dossier situé ici {user_home}/.cache/QGIS/{plugin_name_slugified. Idéalement il vaudrait mieux utiliser le chemin du cache de QGIS je pense mais je n'ai pas trouvé de variable qui l'indique.

Refacto

éclatement de certaines fonctions en plusieurs plus petites
déplacement de certaines fonctions utilitaires dans un module dédié tools
déplacement des fonctions liées à la gestion des projets dans un module dédié qgs_manager

Divers

la fonction log envoie les messages dans un onglet dédié au plugin
docstrings

Ce qui manque avant une prochaine release

ajouter le type_storage dans les QSettings
corriger le déplacement de ligne. Je pense que movedown doit être down...
tester différents cas de figure (dont le stockage sur un lecteur réseau)
brancher le bouton d'édition de chaque ligne sur une fonction dépendant du type_storage. pour l'instant ça ouvre le file browser même pour http et pg. L'idéal serait d'ouvrir les fenêtres de dialogues correspondantes de QGIS.
ui : aligner proprement l'icône dans la colonne type_storage
j'ai entamé l'usage d'un namedtuple pour stocker les infos d'un projet mais j'aurai pas le tps de finir proprement. je propose de laisser ça pour une future version majeure.

Bonux stage

mettre tes identifiants osgeo en variables d'environnement dans GitHub de façon à automatiser pleinement le déploiement via qgis-plugin-ci
idéalement refaire un peu de doc

ping @xcaeag

xcaeag commented 3 years ago

Je teste un peu, essaie de comprendre !

Une erreur lié à notre architecture peut être : l'appel à Path.resolve() provoque une erreur lorsque le répertoire est un répertoire réseau, sur lequel on peut écrire pourtant.

>>> dir = Path('f:/')
>>> dir.resolve()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "W:\OSGeo4W64\apps\Python37\lib\pathlib.py", line 1123, in resolve
    s = self._flavour.resolve(self, strict=strict)
  File "W:\OSGeo4W64\apps\Python37\lib\pathlib.py", line 189, in resolve
    s = self._ext_to_normal(_getfinalpathname(s))
PermissionError: [WinError 5] Accès refusé: 'f:\\'

Puis une autre sur le décorateur lru_cache ?? (Python 3.7) en précisant un maxsize, ça passe.

  File "\\NAS01\appdata2008\culos\AppData\Roaming\.qgisltr\profiles\xcu/python/plugins\menu_from_project\logic\qgs_manager.py", line 148, in 
    def read_from_http(uri: str, cache_folder: Path):
  File "W:\OSGEO4~1\apps\Python37\lib\functools.py", line 474, in lru_cache
    raise TypeError('Expected maxsize to be an integer or None')
TypeError: Expected maxsize to be an integer or None

A la création du cache (QGIS n'existait pas encore chez moi..)

  File "\\NAS01\appdata2008\culos\AppData\Roaming\.qgisltr\profiles\xcu/python/plugins\menu_from_project\menu_from_project.py", line 60, in 
    cache_folder.mkdir(exist_ok=True)
  File "W:\OSGEO4~1\apps\Python37\lib\pathlib.py", line 1230, in mkdir
    self._accessor.mkdir(self, mode)
FileNotFoundError: [WinError 3] Le chemin d’accès spécifié est introuvable: 'C:\\Users\\culos\\.cache\\QGIS\\Layersmenufromproject'

je poursuis !

xcaeag commented 3 years ago

Passés ces petits soucis, ça fonctionne ! C'est magique.

haubourg commented 3 years ago

Super taf @Guts ! Merci Xavier pour la revue (et bonne annnée)

* Idéalement il vaudrait mieux utiliser le chemin du cache de QGIS je pense mais je n'ai pas trouvé de variable qui l'indique.

A tout hasard, ce serait pas le cache QtNetwork tout simplement ?

https://doc.qt.io/qt-5/qnetworkdiskcache.html

Je vais tester ça dans ma nouvelle structure aussi, dès que j'aurais un setup qui marche..

Guts commented 3 years ago

Merci @haubourg mais ça n'est pas encore terminé, cf mes remarques en description. Je vais essayer de m'en occuper demain soir, histoire d'enfin offrir mes étrennes à Florian B. et son équipe 😉 !

A tout hasard, ce serait pas le cache QtNetwork tout simplement ? https://doc.qt.io/qt-5/qnetworkdiskcache.html

Peut-être mais Je ne suis pas sûr. Aujourd'hui, je suis sous Windows et je retrouve pas mes petits, mais de mémoire, le chemin est quelque chose comme ~/.cache/QGIS/QGIS3.

xcaeag commented 3 years ago

Hello,

J'avais utilisé un temps QgsProcessingUtils.tempFolder(), pour un usage un peu différent. Sinon, est-ce qu'il ne faudrait pas rendre unique le nom du fichier dans le cache ? Les risques sont faibles que deux fichiers portent le même nom, mais ?

Guts commented 3 years ago

J'avais utilisé un temps QgsProcessingUtils.tempFolder(), pour un usage un peu différent.

Merci pour la piste. Par contre, il s'agit d'un pointeur de dossier temporaire et non de cache, non ? (j'ai pas regardé, c'est juste d'après le nom)

Sinon, est-ce qu'il ne faudrait pas rendre unique le nom du fichier dans le cache ? Les risques sont faibles que deux fichiers portent le même nom, mais ?

Oui, c'est prévu via un hash de l'url, un peu à la manière de que fait scrapy pour les images.

xcaeag commented 3 years ago

C'est du temporaire oui, dédié aux scripts 'processing'. sous windows : C:/Users/xxx/AppData/Local/Temp/processing_...

Guts commented 3 years ago

C'est du temporaire oui, dédié aux scripts 'processing'. sous windows : C:/Users/xxx/AppData/Local/Temp/processing_...

Ok donc c'est pas ce qu'on cherche exactement.

HS : j'ai glissé une capture du plugin dans ma blog-notes https://static.geotribu.fr/articles/2021/2021-01-19_pyqgis_utiliser_icones_integrees/ #inception ;)

xcaeag commented 3 years ago

La version expérimentale est publiée, en attente de validation. Mais ne ne connais pas trop de testeurs !

ici un projet exemple : http://adour-garonne.eaufrance.fr/upload/DATA/SIG/aeag-web.qgz

xcaeag / MenuFromProject-Qgis-Plugin