Nouveaux appels

[alhyss]

Salut @WREATCHED,

Ci-après la liste tant attendue des modifications à opérer pour basculer des modules de plume.bibli_rdf et plume.bibli_pg à ceux de plume.rdf et plume.pg.

Je n'ai pas encore mis à jour la doc en conséquence, mais ce sera fait incessamment.

• [x] Dans les fichiers plume_ui.py, bibli_plume.py et bibli_gene_objets.py, supprimer tous les imports depuis bibli_rdf et bibli_pg.

Accessoirement, dans bibli_plume.py, il me paraît possible de supprimer également les imports des modules re, uuid, json et pathlib (idem pour les imports d'objets de ces modules). L'import de psycopg2 me semblerait aussi plus à sa place dans plume_ui.py, considérant qu'il n'est pas utilisé directement par bibli_plume.py.

• [x] Dans bibli_plume.py, ajouter les imports suivants :

from plume.rdf.widgetsdict import WidgetsDict
from plume.rdf.metagraph import Metagraph, metagraph_from_file, copy_metagraph
from plume.rdf.utils import export_extension_from_format, import_formats, import_extensions_from_format
from plume.pg.description import PgDescription
from plume.pg.template import TemplateDict, search_template
from plume.pg import queries

• [x] Dans plume_ui.py, ajouter les imports suivants :

import psycopg2
from plume.pg import queries
from plume.rdf.metagraph import copy_metagraph

• [x] Supprimer les objets shape et vocabulary. Le schéma SHACL et la compilation de thésaurus sont maintenant chargés et exploités directement par les modules plume.rdf.metagraph et plume.rdf.thesaurus respectivement. Je pense que ça implique de :
  • [x] supprimer la fonction bibli_plume.returnObjetVocabulary ;
  • [x] supprimer la fonction bibli_plume.returnObjetShape ;
  • [x] supprimer les appels à ces deux fonctions par plume_ui.Ui_Dialog_plume.setupUi.

Il ne sera plus non plus nécessaire de fournir shape et vocabulary en arguments d'aucune fonction. J'évoque ça dans la suite, fonction par fonction.

• [x] La fonction build_dict disparaît, il suffit maintenant de générer un nouvel objet de classe plume.rdf.widgetsdict.WidgetsDict. Le constructeur de WidgetsDict prend moins d'arguments. Comme évoqué précédemment, il n'y a plus shape, ni vocabulary. templateTabs disparaît aussi, car les informations qu'il contenait sont maintenant portées par template. Contrairement à build_dict, il n'a aucun argument obligatoire. Ça simplifie ta fonction bibli_plume.returnObjetsMeta.

Le test de cohérence entre mode et translation n'est plus nécessaire non plus, car je le gère désormais de mon côté.

Une interrogation, par contre : à quel moment passais-tu à build_dict tous les autres paramètres (langList, language, readHideBlank, editHideUnlisted, etc.) si ce n'est dans cette fonction ? Ne faudrait-il pas les ajouter ? Ça commencerait à faire une longue liste, donc tu peux peut-être profiter du fait que les noms de tes attributs sont cohérents avec ceux de mes paramètres et écrire quelque chose comme ça :

def returnObjetsMeta(self, _schema, _table):
    kwa = {}
    for param in ('metagraph', 'template', 'columns', 'data', 'mode', 'translation',
        'language', 'langList', 'readHideBlank', 'readHideUnlisted', 'editHideUnlisted',
        'readOnlyCurrentLanguage', 'editOnlyCurrentLanguage', 'labelLengthLimit',
        'valueLengthLimit', 'textEditRowSpan'):
        if getattr(self, param) is not None:
            kwa[param] = getattr(self, param)
    return WidgetsDict(**kwa)

_C'est sans grande importance, mais peut-être que tu peux en profiter pour enlever les arguments _schema et _table ? Je n'ai pas l'impression qu'ils soient encore utiles._

• [x] La fonction metagraph_from_pg_description disparaît, remplacée par un appel à la propriété metagraph de la classe plume.pg.description.PgDescription - ce qui suppose d'avoir préalablement généré un objet PgDescription à partir du commentaire de l'objet PostgreSQL.

Cette évolution va affecter les fonctions bibli_plume.returnObjetMetagraph et bibli_plume.returnObjetComment. Un point notable est que les éventuelles erreurs de dé-sérialisation (si les balises <METADATA> du descriptif PostgreSQL ne contiennent pas un JSON-LD valide) sont désormais gérées par la classe PgDescription, ce qui a l'intérêt de permettre la préservation du texte qui se trouvait à l'extérieur des balises <METADATA> (pour le reste, c'est toujours un formulaire vierge qui sera présenté à l'utilisateur). Il n'y a donc plus besoin de try ... except dans returnObjetMetagraph.

Dans bibli_plume.returnObjetComment, il s'agira simplement de remplacer :

    return old_description

par :

    return PgDescription(old_description)

bibli_plume.returnObjetMetagraph devient très triviale :

def returnObjetMetagraph(self, old_description) :
    return old_description.metagraph

• [x] Réciproquement, il n'y a plus de fonction update_pg_description. Le nouveau descriptif est généré en mettant à jour l'attribut metagraph de l'objet PgDescription.

En conséquence, il faudra remplacer les lignes suivantes de bibli_plume.saveMetaIhm :

    new_pg_description = rdf_utils.update_pg_description(self.comment, self.metagraph, geoideJSON=self.geoideJSON) 
    self.comment = new_pg_description

par :

    self.comment.metagraph = self.metagraph
    new_pg_description = str(self.comment)

_NB : pour autant que je puisse voir, la variable new_pg_description sert ensuite pour la requête de mise à jour sur le serveur PostgreSQL. Il faut donc qu'elle contienne une version textuelle du descriptif, laquelle est obtenue en appliquant str() à l'objet PgDescriptif._

• [x] La méthode WidgetsDict.build_graph devient WidgetsDict.metagraph et elle ne prend plus d'argument autre que self.

Dans bibli_plume.saveMetaIhm, il faut donc remplacer :

    self.metagraph = self.mDicObjetsInstancies.build_graph(self.vocabulary)

par :

    self.metagraph = self.mDicObjetsInstancies.build_metagraph() 

• [x] Je n'ai pas réimplémenté dans les nouvelles bibliothèques les fonctions qui exploitaient les petits JSON de GéoIDE, car il ne me semble pas pertinent de dupliquer les métadonnées dans les descriptifs PostgreSQL tant que nous ne sommes pas certains que ça servira à quelque chose. Est-ce que tu es d'accord avec ça ? Si oui, ta fonction bibli_plume.returnObjetData pourra à ce stade juste renvoyer None.

def returnObjetData(self) :
    return

Il reste pertinent de conserver la fonction, car l'un des sujets restant à discuter avec le sous-groupe métadonnées est celui des catégories qui se mettraient à jour automatiquement à partir d'informations récupérées côté serveur. Tout ça passera par le paramètre data.

Par ailleurs, il faudra voir ce qu'on fait du paramètre utilisateur geoideJSON, qu'il n'est peut-être pas très utile de présenter à l'utilisateur s'il n'a pas d'effet... Peut-être à mettre en commentaire pour l'instant ?

• [x] L'argument template du constructeur de WidgetsDict est maintenant un objet plume.pg.template.TemplateDict, qui réunit les informations des ex template et templateTabs.

Cela signifie que la fonction bibli_plume.generationTemplateAndTabs n'a plus qu'un argument à renvoyer.

Au lieu de :

    # Génération de template
    self.template = template_utils.build_template(categories)
    ...
    # Génération de templateTabs
    self.templateTabs = template_utils.build_template_tabs(tabs)
    return self.template, self.templateTabs 

Il suffit de :

    ...
    # Génération de template
    self.template = TemplateDict(categories, tabs)
    return self.template

NB : Les lignes non reproduites sont inchangées. Il faut évidemment que l'import des onglets soit avant le bloc de code ci-dessus.

• [x] Par suite, les appels à bibli_plume.generationTemplateAndTabs dans plume_ui.Ui_Dialog_plume.retrieveInfoLayerBrowser et plume_ui.Ui_Dialog_plume.retrieveInfoLayerQgis doivent être modifiés.

Avant :

self.template, self.templateTabs = bibli_plume.generationTemplateAndTabs(self, tpl_labelDefaut)

Après :

self.template = bibli_plume.generationTemplateAndTabs(self, tpl_labelDefaut)

• [x] Idem pour les self.template, self.templateTabs = None, None qui deviennent self.template = None. Il y a en a dans plume_ui.Ui_Dialog_plume.retrieveInfoLayerBrowser, plume_ui.Ui_Dialog_plume.retrieveInfoLayerQgis et aussi plume_ui.Ui_Dialog_plume.clickButtonsTemplateActions.

• [x] Le module plume.bibli_pg.pg_queries devient plume.pg.queries. Je pense que le plus simple est un rechercher/remplacer de "pg_queries." par "queries." dans les fichiers plume_ui.py et bibli_plume.py

• [x] Plus de douteuse fonction is_root pour reconnaître les onglets, il suffit de consulter la clé object du dictionnaire interne, qui prend alors la valeur 'tab'. Dans la fonction bibli_gene_objets.generationObjets, tu pourras donc remplacer :

  if (rdf_utils.is_root(_keyObjet) and _valueObjet['main widget type'] == "QGroupBox") : 
     self.mFirst = rdf_utils.is_root(_keyObjet)

  par :

  self.mFirst = _valueObjet['object'] == 'tab'

• [x] La fonction search_template est désormais dans plume.pg.template, et j'ai dû inverser l'ordre de ses arguments pour rendre metagraph optionnel.

Dans bibli_plume.returnObjetTpl_label, tu peux remplacer :

       tpl_label = template_utils.search_template(self.metagraph, self.templates)

par :

       tpl_label = search_template(self.templates, self.metagraph)

• [x] J'ai essayé de minimiser les changements sur les clés des dictionnaires internes des dictionnaires de widgets, même s'il y a quelques noms qu'il ne m'aurait pas déplu de changer pour que l'ensemble soit plus cohérent... (enfin, je parle de changements qui t'affectent, car une grosse différence est que toutes les clés qui ne servaient que de mon côté ne sont plus là). Néanmoins, j'ai quand même profité du fait que ces dictionnaires ne servent plus qu'à te fournir l'information sous la bonne forme pour rationaliser la question de la visibilité : plus de clé hidden M, à présent tout est dans hidden. Par conséquent, dans bibli_gene_objets.py, tu peux remplacer tous les if (_valueObjet['hidden'] or _valueObjet['hidden M']) par if _valueObjet['hidden']. Ça vaut bien sûr aussi pour le if (__valueObjet['hidden'] or __valueObjet['hidden M']) de generationLabel, qui devient if __valueObjet['hidden'].

• [x] hidden M apparaissait aussi dans bibli_plume.saveMetaIhm.

         if _valueObjet['object'] == "edit" and not (_valueObjet['hidden'] or _valueObjet['hidden M']): 

  devient :

         if _valueObjet['object'] == "edit" and not _valueObjet['hidden']: 

• [x] L'autre évolution sur les dictionnaires internes concerne les thésaurus, que je gère maintenant de mon côté pour améliorer encore les performances. À présent, tu n'as plus rien d'autre à faire que récupérer la liste dans la clé thesaurus values du dictionnaire interne.

Dans bibli_gene_objets.action_mObjetQToolButton, les lignes suivantes :

    for elem in ret['concepts list to update'] : 
        __valueObjet = self.mDicObjetsInstancies[elem]
        schemeIRI = __valueObjet['current source URI']
        # récupération de la liste si déjà constituée
        _thesaurus = self.thesaurusCollection.get((schemeIRI, _language))
        if _thesaurus is None:
           # sinon, construction de la liste
           _thesaurus = rdf_utils.build_vocabulary(schemeIRI, self.vocabulary, _language, value=__valueObjet['value'])
           # mémorisation dans thesaurusCollection
           if not schemeIRI == '< non répertorié >':
              self.thesaurusCollection.update( { (schemeIRI, _language) : _thesaurus } )

deviennent :

    for elem in ret['concepts list to update'] : 
        __valueObjet = self.mDicObjetsInstancies[elem]
        _thesaurus = __valueObjet['thesaurus values']

De même, dans bibli_gene_objets.generationObjets, tu peux remplacer le bloc :

       if _valueObjet['main widget type'] in ("QComboBox") :
          schemeIRI = _valueObjet['current source URI']
          # récupération de la liste si déjà constituée
          _thesaurus = self.thesaurusCollection.get((schemeIRI, _language))
          if _thesaurus is None:
             # sinon, construction de la liste
             _thesaurus = rdf_utils.build_vocabulary(schemeIRI, self.vocabulary, _language, value=_valueObjet['value'])
             # mémorisation dans thesaurusCollection
             if not schemeIRI == '< non répertorié >':
                self.thesaurusCollection.update( { (schemeIRI, _language) : _thesaurus } )

par :

       if _valueObjet['main widget type'] in ("QComboBox") :
          _thesaurus = _valueObjet['thesaurus values']

• [x] Il n'y a donc plus besoin de l'attribut thesaurusCollection que tu définissais dans plume_ui.Ui_Dialog_plume.setupUi.

À supprimer :

        self.thesaurusCollection = {} # nécessaire pour première instance  (Stockage des thésaurus)

• [x] Les fonctions export_extension_from_format, import_extensions_from_format et import_formats se trouvent désormais dans le module plume.rdf.utils. Avec les imports que j'ai mis en début de message, ça vaut dire qu'il faudra remplacer :

  • [x] rdf_utils.export_extension_from_format par export_extension_from_format dans bibli_plume.exportObjetMetagraph ;
  • [x] rdf_utils.import_formats par import_formats dans bibli_plume.importObjetMetagraph ;
  • [x] rdf_utils.import_extensions_from_format par import_extensions_from_format dans bibli_plume.importObjetMetagraph.

• [x] Pour les exports, c'est désormais la méthode export de plume.rdf.metagraph.Metagraph et plus une fonction.

Dans bibli_plume.exportObjetMetagraph, il faudra remplacer :

    try:
       rdf_utils.export_metagraph(self.metagraph, self.shape, fileName, extension)

par :

    try:
       self.metagraph.export(fileName, extension)

Aucun rapport, mais c'est un peu bizarre tu fournisses l'extension du fichier en argument, ici. Ce qu'attend la fonction, c'est le format qu'a choisi l'utilisateur dans le menu d'export.

• [x] available_formats devient une propriété de plume.rdf.metagraph.Metagraph.

Dans plume_ui.Ui_Dialog_plume.majQmenuExportIconFlag, tu peux remplacer :

        mListExtensionExport = rdf_utils.available_formats(self.metagraph, self.shape)

par :

        mListExtensionExport = self.metagraph.available_formats

• [x] Lors des imports, tu n'as plus besoin d'appliquer successivement deux fonctions, plume.rdf.metagraph.metagraph_from_file prend désormais aussi en charge le nettoyage du graphe.

Dans bibli_plume.importObjetMetagraph, tu peux remplacer :

    try:
       old_metagraph = self.metagraph
       raw_metagraph  = rdf_utils.metagraph_from_file(filepath)
       metagraph = rdf_utils.clean_metagraph(raw_metagraph , self.shape, old_metagraph)

par :

    try:
       old_metagraph = self.metagraph
       metagraph  = metagraph_from_file(filepath, old_metagraph=old_metagraph)

• [x] La fonction copy_metagraph est maintenant dans plume.rdf.metagraph. Avec les imports que j'ai mis au début, tu peux juste remplacer "rdf_utils.copy_metagraph" par "copy_metagraph" au deux endroits où ça apparaît dans plume_ui.Ui_Dialog_plume.clickButtonsActions.

• [x] N'oublie pas de rendre son argument old_metagraph à metagraph_from_iso dans importcsw.Ui_Dialog_ImportCSW.functionImport.

D'ailleurs, est-ce cette fonction n'utilise pas toujours le couple URL/identifiant que tu as figé dans le code au lieu de ceux fournis par l'utilisateur ? Ou tu as modifié ça après avoir remonté tes modifications sur le Git, peut-être ?

• [x] Et le contrôle sur isinstance(self.Dialog.metagraph, Metagraph) dans importcsw.Ui_Dialog_ImportCSW.setupUiImportCSW ne sert plus à rien, tu peux te contenter de url_csw, file_identifier = self.Dialog.metagraph.linked_record.

• [x] Supprimer les répertoires plume/bibli_rdf et plume/bibli_pg.

• [x] L'extension PostgreSQL metadata s'appelle désormais plume_pg.

Dans `plume_ui.Ui_Dialog_plume.displayToolBar, tu pourras remplacer :

mKeySql = (queries.query_exists_extension(), ('metadata',))

par :

mKeySql = (queries.query_exists_extension(), ('plume_pg',))

Juste après, pour le message affiché en infobulle si l'extension n'est pas installée, ce serait : L'extension PostgreSQL plume_pg n'est pas installée..

[WREATCHED]

Quel travail que tu as fait ... Je ne sais pas si beaucoup de personnes se rendent compte.

Donc, j'ai fait toutes les modifs, mais je veux nettoyer le code de mes commentaires pour tests etc ...... et Il me reste à tester ......

BRAVO

[alhyss]

Merci !!!

[WREATCHED]

Leslie, Peut-être un oubli, ,mais je voudrais ta confirmation même si c'est moi qui ait écrit le code Dans le importcsw.py

      `self.Dialog.generationALaVolee(bibli_plume.returnObjetsMeta(self.Dialog, self.Dialog.schema, self.Dialog.table))`

à transformer en :

     ` self.Dialog.generationALaVolee(bibli_plume.returnObjetsMeta(self.Dialog, self.Dialog.metagraph))`

voir

      `self.Dialog.generationALaVolee(bibli_plume.returnObjetsMeta(self.Dialog, old_metagraph))`

ce qui revient au même mais peut-être plus clair vu que au dessus j'ai mis

      `raw_xml, old_metagraph = self.returnXml( url_csw, file_identifier ), self.Dialog.metagraph`

[WREATCHED]

Non, pas ça mais ça self.Dialog.generationALaVolee(bibli_plume.returnObjetsMeta(self.Dialog))

[alhyss]

Oui plutôt ça ! Si tu as juste enlevé ses arguments _schema et table à plume.bibli_plume.returnObjetsMeta, alors la dernière proposition me semble bonne.

[WREATCHED]

Après tests avec Leslie, c'est OK