search

agroportal / project-management

Repository used to consolidate documentation about the AgroPortal project and track content related issues.
http://agroportal.lirmm.fr
7 stars 0 forks source link

Mise à jour de TAXREF-LD #218

Closed jonquet closed 2 years ago

jonquet commented 2 years ago

Il s'agit de mettre a jour TAXREF-LD dans AgroPortal: http://agroportal.lirmm.fr/ontologies/TAXREF-LD Nous sommes à la version 10. Il manque la 12, 13 et 15.1

https://github.com/frmichel/taxref-ld

@frmichel et @antool avait vu ensemble comment passer des fichier sources de TAXREF-LD a une version chargeable dans AgroPortal. Il faut refaire le point sur ce processus pour si possible l'automatiser. @frmichel peut produire une nouvelle version "chargeable dans AgroPortal (avec une URL fixe sur GitHub par exmeple) mais il faut qu'on revoit ensemble le travail fait pour charger la premiere fois la resources dans AgroPortal.

jonquet commented 2 years ago

Discussion avec @frmichel ce jour:

Nous continuerons à héberger dans AgroPortal la taxonomie de TAXREF-LD représentée en OWL. La nomenclature (représentée en SKOS) est présente dans le fichier mais sa hiérarchie ne s'affiche pas. La distribution principale contenant qq 2Gb de données TTL, nous passerons par une distribution plus légère pour AgroPortal qui ignorera les Xrefs et les status.

image
jonquet commented 2 years ago

Pour mémoire le FAIRscore de TAXREF-LD ce jour

Capture d’écran 2022-02-23 à 16 17 11
frmichel commented 2 years ago

@jonquet, je viens de mettre à jour les metadata mais l'interface n'accepte pas de charger le fichier depuis une URL. Dans les 2 cas ci-dessous, l'interface répond que le fichier n'existe pas : http//taxref.i3s.unice.fr/~fmichel/taxrefld_singlefile_agropportal.zip http//taxref.i3s.unice.fr/~fmichel/taxrefld_singlefile_agropportal.ttl Une idée ?

jonquet commented 2 years ago

La pull location était corrompue (sans : et avec local dedans)

image

J'ai corrigé cela et vais lancer le parsing manuellement. http://data.agroportal.lirmm.fr/ontologies/TAXREF-LD/submissions/2?display=pullLocation

jonquet commented 2 years ago

Ok le fichier est bien récupéré par AgroPortal désormais. Erreur OWL-API lors du parsing

image

Vérifiée dans le fichier source:

image

@frmichel PAs besoin de modifier la submission chez AgroPortal a nouveau. Juste dis moi quand le fichier est corrigé à la pull URL je relancerai le parsing qui relancera le téléchargement.

frmichel commented 2 years ago

@jonquet: Aouch. Le pire c'est que j'ai testé avec Protégé sans erreur. Mais je crois que Corese n'a pas dû tout charger à cause de la taille. J'en ai trouvé d'autres du coup. Peux-tu réessayer stp ?

jonquet commented 2 years ago

Je vois tjrs qq chose :

-------------------------------------------------------------------------------- Parser: org.semanticweb.owlapi.rdf.turtle.parser.TurtleOntologyParser@72ab05ed Stack trace: org.semanticweb.owlapi.rdf.turtle.parser.ParseException: Encountered "" at line 44410, column 21.

frmichel commented 2 years ago

@jonquet arg désolé. Tu px essayer à nouveau?

jonquet commented 2 years ago

J'ai encore des bugs : 

org.semanticweb.owlapi.rio.RioParserImpl : org.semanticweb.owlapi.formats.RioTurtleDocumentFormatFactory@95fd655c\n\n    Stack trace:\n\norg.eclipse.rdf4j.rio.RDFParseException: Invalid IRI 'https://gdz.sub.uni-goettingen.de/id/PPN605437475_0003?tify={%22pages%22:[153],%22view%22:%22info%22} [line 16694]

effectivement le fichier contient : 

 schema:sameAs <https://gdz.sub.uni-goettingen.de/id/PPN605437475_0003?tify={%22pages%22:[153],%22view%22:%22in
fo%22}> ;
      foaf:page <https://gdz.sub.uni-goettingen.de/id/PPN605437475_0003?tify={%22pages%22:[153],%22view%22:%22info%2
2}> .
frmichel commented 2 years ago

Bon je change de stratégie et je te redis parce que là ça va nous énerver tous les 2.

frmichel commented 2 years ago

Salut @jonquet, j'ai fait un bout de code pour charger ça avec OWLAPI 5.1.20 et je n'ai pas d'erreur.

As-tu moyen de connaître la version exacte de l'API utilisée ? D'ailleurs est-ce bien OWLAPI (https://github.com/owlcs/owlapi) ? Il me semble me rappeller qu'il existe 2 API différentes avec des noms très proches.

syphax-bouazzouni commented 2 years ago

Bonjour,

Je suis l’ingénieure en charge du projet Agroportal.

Nous utilisant dans notre backend la version 4.5.17 de owlapi (voir la dependence dans notre code ici https://github.com/ontoportal-lirmm/owlapi_wrapper/blob/master/pom.xml#L84)

Nous utilisant un peu près la meme version que protégé https://protege.stanford.edu/ (ils utilisent la version 4.5.19) , nous vous conseillons donc de juste essayé d’ouvrir votre ressource avec protégé si ca marche avec sa sera sûrement aussi le cas pour nous.

Clement entend actuellement en congé, je reste de mon coté disponible pour vous assister dans votre utilisation d'Agroportal.

Bonne journée a vous,

Le 28 févr. 2022 à 12:00, Franck Michel @.***> a écrit :

Salut @jonquet, j'ai fait un bout de code pour charger ça avec OWLAPI 5.1.20 et je n'ai pas d'erreur.

As-tu moyen de connaître la version exacte de l'API utilisée ? D'ailleurs est-ce bien OWLAPI (https://github.com/owlcs/owlapi) ? Il me semble me rappeller qu'il existe 2 API différentes avec des noms très proches.

— Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you are subscribed to this thread.

frmichel commented 2 years ago

Merci @syphax-bouazzouni, j'ai pu reproduire le pb avec cette version de l'API donc je peux avancer.

Cela veut dire qu'entre la 4.5.17 et 5.1.20 OWLAPI est devenue plus tolérante sur le format des URI. Ce serait bien de mettre dans la TODO list de Agroportal l'upgrade de OWLAPI du coup.

Par contre impossible d'utiliser Protégé car mon ontologie est très grosse, Protégé finit par "exploser" malgré un heapspace à 4GB.

frmichel commented 2 years ago

@jonquet: Clément, cette fois ça devrait être bon Inch'allah! Je charge l'intégralité avec OWLAPI 4.5.17 sans erreur. Au choix : https://taxref.i3s.unice.fr/~fmichel/taxrefld_singlefile_agropportal.zip https://taxref.i3s.unice.fr/~fmichel/taxrefld_singlefile_agropportal.ttl Merci Syphax.

syphax-bouazzouni commented 2 years ago

Oui c'est bon, votre ressource parse bien.

Cependant nous avant maintenant un autre problème de notre coté chez Agroportal (voir detail ici https://github.com/ontoportal-lirmm/ontologies_linked_data/issues/15).

Nous corrigeront cela et vous tiendront au courant dés que votre ressource sera disponible sur Agroportal

frmichel commented 2 years ago

Bonjour Syphax, du nouveau pour l'import ? Avez-vous pu régler vos pbs ?

syphax-bouazzouni commented 2 years ago

Bonjour @frmichel,

Bonne nouvelle on a enfin réussi à parser TAXREF-LD et l'insérer sur notre triple store, pour le moment c'est sur note instance de test/stage => http://stageportal.lirmm.fr/ontologies/TAXREF-LD

Je vous invite à consulter la hiérarchie générée => http://stageportal.lirmm.fr/ontologies/TAXREF-LD/?p=classes&conceptid=root et à nous faire un retour; elle nous semble un peu bizarre avec beaucoup de TAXON (comme noeud parent) avec juste l'ID sans autre information.

frmichel commented 2 years ago

Bonjour @syphax-bouazzouni, merci pour ce travail !

Donc première chose intéressante, en effet il y a un paquet de taxons sans aucune info. J'ai vérifié, c'est bien ce qui a été généré au départ donc l'erreur est de notre côté. Pour relativiser, il n'y en a "que" 343, c'est flagrant sur l'interface mais dans la pratique c'est de l'ordre de 1% des taxon. Je me note ça pour action.

jonquet commented 2 years ago

@frmichel Je me suis permis de garder ici dasn cet issue les questions relative au chargement de TAXREF-LD dans AgroPortal. J'ai crée https://github.com/agroportal/fairness/issues/28 Pour discuter du resultat de O'FAIRe sur TAXREF-LD.

syphax-bouazzouni commented 2 years ago

I close as resolved We will open a new one if a new version is available and didn't parse (we hope not) FAIR discussions will be followed here https://github.com/agroportal/fairness/issues/28