Définition générale du projet

camillemonchicourt commented 6 years ago

Analyse légale et technique préalable avec document de synthèse pédagogique et juridique. Open data notamment.

Puis 2 grands volets :

Interopérabilité OCCURRENCES DE TAXONS dans GeoNature

Faire une API json de la synthèse, standardisée et documentée. Paramétrable si on l'active ou non. Et éventuellement si elle est protégée par une clé ou non. Se baser sur l'API existante de GeoNature et notamment celle de gn_export qui créé des routes à partir de vues dans la BDD.
2 standards : Occurrences de taxons SINP et Darwin Core
Faire un CKAN, un endpoint, un nœud. Un point d'accès aux données sous forme d'URL, interrogeables en Sparql. Données exposées en sémantique.
Une requête permettrait d'interroger plusieurs instances GeoNature d'un coup
Pour ça on peut utiliser le standard Darwin core, disponible en RDF
Pouvoir consommer des données provenant d'une API JSON Occurrences de taxons ou Darwin core. Ou provenant d'un endpoint. Alimentant un schéma de données local (paramétrable) non modifiées dans GeoNature.
Voir GBIF et leur API (https://www.gbif.org/developer/summary) ainsi que celle d'EOL (http://eol.org/api). Ainsi que https://github.com/gbif
Utiliser un framework d'API, avec documentation intégrée (genre Swagger)
Quid des ontologies ?
Pouvoir publier dynamiquement la synthèse d'un GeoNature sur data.gouv.fr

Interopérabilité des TAXONS et de leurs infos dans TaxHub

Commencer par une API Json permettant d'accéder aux médias et attributs présents dans un TaxHub en passant un CD-REF. Se baser sur l'API existante et la rendre plus accessible et documentée. Comme pour celle de GeoNature, pouvoir l'ouvrir ou non, la protéger ou non.
Pouvoir utiliser cette API pour échanger du contenu entre TaxHub. J'interroge un autre TaxHub, je l'interroge en lui envoyant les CDREF pour lesquels je n'ai pas de médias par exemple, et je les intègre si lui en a. Avoir des paramètres pour sélectionner les types de médias, les attributs à utiliser ou non etc...
Sémantiser l'API pour mettre à disposition les données taxonomiques sous un format plus interopérable.
Utiliser le endpoint taxref (https://old.datahub.io/dataset/taxref-ld et http://taxref.mnhn.fr/sparql?nsdecl). Voir aussi https://hal.archives-ouvertes.fr/hal-01617708/document
Voir aussi wikidata et EOL, ITIS (https://www.itis.gov et https://fr.wikipedia.org/wiki/Système_d'information_taxonomique_intégré)
Wikidata permet de faire des correspondances entre référentiels taxonomiques (taxref-id, eol-id, worms-id, gbif-id...)
Un travail expérimental d'interrogation de Wikidata a été mené : https://github.com/PnX-SI/TaxHub/issues/150

Markus Doring (GBIF) - 05/12/2016 :

Hi Camille,

the GBIF backbone taxonomy can be downloaded here in 2 formats: http://rs.gbif.org/datasets/backbone/

A complete Darwin Core archive which contains vernacular names and more: http://rs.gbif.org/datasets/backbone/backbone-current.zip

A simple, single CSV file dump for a simplified taxon table as specified here: https://github.com/gbif/checklistbank/blob/master/checklistbank-mybatis-service/src/main/resources/backbone-ddl.sql http://rs.gbif.org/datasets/backbone/backbone-current-simple.txt.gz

We plan to build a new version roughly every 3 month, the next one probably in a few weeks.

Best wishes, Markus

orovellotti commented 6 years ago

Sur le plan juridique, Il existe plusieurs textes importants en relation à l'opendata en france

Les lois Informatique et Libertés (loi 78-17 du 6 janvier 1978) et CADA (loi 78-753 du 17 juillet 1978)
Le Code Général des Collectivités Territoriales (CGCT) et la loi NOTRe (7 août 2015)
L’ordonnance 2015-899 relative aux marchés publics (23 juillet 2015)
La loi relative à la gratuité et aux modalités de la réutilisation des informations du secteur public, dite loi Valter (28 décembre 2015)

et pour la biodiversité:

La loi pour la reconquête de la biodiversité, de la nature et des paysages

L’association Open data France a effectué un recensement de l’ensemble de ces textes français et européens Liste des textes

orovellotti commented 6 years ago

Sur le plan des licences

Une licence libre octroie quatre droits :

celui d’utiliser,
d’étudier,
de modifier
et de redistribuer les modifications.

Il y la encore plusieurs options.

La licence ODBL (Open Knowledge Foundation)
La Licence ouverte (etatlab):
Les licences CC-by (Creative Commons):

Enfin, le linked Open Data impose que les données doivent être libres de toute licence pour que des liens soient facilement faits entres elles.

Il n'existe malheureusement pas de consensus au sein de la communauté. La licence etatlab assure une conformance avec les institution française, la licence ODBL est un standard international reconnu, et les licence CC ont l'avantage d'être les plus connues de tous.

Je pencherai pour une "Licence Ouverte" pour s'inscrire dans un mouvement plus global et pour faciliter la réutilisation des données.

camillemonchicourt commented 6 years ago

En effet je partirai aussi sur de l'ODBL. Avec la Licence ouverte, elle fait partie des 2 licences retenues par l'état pour la diffusion en open data des structures publiques (https://www.data.gouv.fr/fr/licences) et elle a l'avantage d'être plus global et internationale, dimension que nous souhaitons avoir dans ce projet.

Il sera important d'établir un document succinct et contextualisé sur le sujet, donnant :

Les aspects juridiques essentielles de l'opendata pour donner le cadre, rappeler les obligations mais aussi les garanties
Les aspects vertueux de l'opendata et ce que cela apporte

Ce document permettra d'expliquer la démarche aux directeurs et chargés de mission.

2 documents sous forme de présentation peuvent être utilisés :

Sinon, concernant l'opendata, en plus des API, on pourrait imaginer un mécanisme qui régénère chaque nuit des fichiers sous forme de CSV/Json/ZIP avec les occurrences de taxons et les attributs sur les taxons. Cela permettrait de diffuser des données à jour sur des plateformes opendata qui fonctionnent plus sur la base de fichiers. Et plusieurs usages seront plus adaptés avec avec des fichiers.

API et fichiers mis à jour chaque nuit sont en effet complémentaires.

camillemonchicourt commented 6 years ago

En complément sur l'aspect pédagogique, une info intéressante de Jean-Christophe de l'April :

Un très bon billet de Guillaume Rouan : Licences libres : libérez enfin vos contenus ! http://guillaume-rouan.net/blog/2018/02/11/licences-libres-liberez-enfin-vos-contenus/

« À mon sens, un degré d’ouverture le plus large possible représentera un levier particulièrement puissant de diffusion pour vos contenus. »

« Comme une poignée de chiffres valent mieux que de longs discours — s’il est encore besoin de vous convaincre — voici quelques insights édifiants concernant la publication de livres blancs en Open-Access (versus des publications sous licences propriétaires) :

Ces contenus en Open-Access sont :

7 × + téléchargés
50% × + cités
10 × + mentionnés en ligne »

« L’ensemble des licences Creative Commons ne sont donc pas des licences libres : seules les 4 premières le sont :

Domaine Public (voir plus haut)
CC0 : aucune contrainte, équivaut au Domaine Public
CC-BY : obligation de mention d’attribution (citer le nom de l’auteur)
CC-BY-SA : obligations de mention d’attribution + publication selon les mêmes conditions (copyleft) »

Téléchargez, utilisez & partagez le tableau comparatif des licences libres : pour vous aider à trouver celle qui correspond le mieux à vos contenus ! http://bit.ly/licenceslibres #Communs #CopyLeft #OpenData https://twitter.com/grouan/status/962760307897663490

orovellotti commented 6 years ago

Suite à prise d'information auprès des experts, la Licence ouverte me parait préférable, elle n'est pas virale, ne se transmet pas au réutilisation, et permet donc un usage plus large de la données.

Il me semble important de permettre aux acteurs prives d'élaborer des modèles économiques, dans le cas contraire, les bureau d'étude notamment risque de ne pas l'utiliser cette données pour améliorer leurs études. La Licence ODBL impose que tout enrichissement soit lui aussi mis en OpenData.

Notons aussi que seule la lience CC-BY 4 permet de régler le problèmes des medias généralement protégés par le droit d'auteur dans elle sera donc à privilégiée pour les Taxon et leur attributs (TaxHub).

En conclusion, l'outil d'export devrait permettre à l'utilisateur de choisir parmi ces 3 options.

camillemonchicourt commented 6 years ago

OK merci pour ces compléments sur les licences.

orovellotti commented 6 years ago

Voila mes slides sur notre compréhension du projet à ce stade.

Module Interoperabilite 1.2.pdf

camillemonchicourt commented 6 years ago

En complément, une présentation a été réalisée au Forum TIC par @orovellotti et @amandine-sahl

Première partie : http://forum-tic.afbiodiversite.fr/sites/default/files/2018-06/Open%20Data%20et%20Biodiversit%C3%A9.pdf
Deuxième partie : http://forum-tic.afbiodiversite.fr/sites/default/files/2018-06/presentation_forum_tic_as.pdf

camillemonchicourt commented 4 years ago

Version 1.0.0 du module fonctionnel avec les fonctions principales :

Interface administrateur de gestion des exports créés dynamiquement à partir de vues dans la base de données de GeoNature
Interface utilisateur permettant de réaliser des exports sous forme de fichiers (CSV, JSON, GeoJSON, SHP)
API JSON d'interrogation dynamique et filtrable des exports
Génération automatique planifiée des fichiers des exports
Export sémantique RDF au format Darwin-SW

Version 1.0.1 corrective sortie.

Pour la suite des améliorations sont prévues, comme l'export au format GeoPackages.

Concernant les licences, on en propose 2 par défaut (ODBL et CC-by-1.0, voir https://github.com/PnX-SI/gn_module_export/blob/master/data/exports.sql#L59-L62). Chacun peut en ajouter d'autres. On pourrait ajouter la "Licence ouverte" aussi par défaut. Il faudrait aussi pouvoir avoir des exports sans licence ou non ouvertes, pour les données exportables mais sans licence libre.

Concernant les échanges de données entre instances TaxHub, ce sujet a été mis de côté pour le moment, et sera traité au niveau de TaxHub.

camillemonchicourt commented 4 years ago

Licence Ouverte 2.0 ajoutée dans la version 1.0.4. Le module a maintenant un niveau de fonctionnalité et de stabilité satisfaisant. Des évolutions sont encore prévues, comme les exports au format GeoPackage, traités dans des tickets dédiés.

PnX-SI / gn_module_export

Définition générale du projet #1