PnX-SI / GeoNature

Application de saisie et de synthèse des observations faune et flore
GNU General Public License v3.0
104 stars 102 forks source link

GeoNature - Pièges Photos / CameraTraps #1415

Open Adrien-Pajot opened 3 years ago

Adrien-Pajot commented 3 years ago

Bonjour à toutes et à tous,

Le sujet est de plus en plus présent dans nos conversations et commence à concerner les utilisateurs de la communauté GeoNature : les pièges photos (ou Camera Traps) !

Les pièges photos permettent la réponse à de nombreuses problématiques, la liste est longue et le sujet n'est pas forcément de la faire. En revanche, cela représente une grande quantité de données (images/vidéos) à laquelle sont associées de nombreuses informations (données d'occurence aléatoire ou protocolées concernant la biodiversité ou les habitats). La collecte, la gestion, le traitement (manuelle, automatique, humain, IA), la valorisation et la diffusion de ces données et informations sont des sujets complexes qui peuvent être traités au niveau des outils. (Sujets complexes auquel il faut ajouter la gestion des pièges photos en eux-même).

  1. Pour la collecte, les modèles de Camera Traps sont variés et permettent de répondre à des problématiques diverses en fonction du modèle, de la précision et de la qualité de la photo. Les données doivent être récupérées manuellement ou peuvent être envoyés via des réseaux (cellulaires, IoT, etc.)
  2. Pour le stockage des images/vidéos, des solutions doivent être réfléchies en fonction des besoins de chaque structure.
  3. Pour le traitement et l'extraction d'informations, on distingue les solutions de traitement manuel/humain et automatique. Le traitement manuel/humain peut être lui aussi divisé en deux catégories :
    • Participatif, à l'aide de plateforme comme ZooNiverse : https://www.zooniverse.org
    • Expert, annotations manuelles des photos grâce à des logiciels de tagage ou sur des tableurs par exemple L'annotation automatique est permise par des algorithmes de Machine Learning qui nécessitent beaucoup d'entrainement pour être performants sur une problématique donnée. (WildMe : https://www.wildme.org/#/ est un exemple).
  4. La diffusion et la mutualisation des données et des informations sont encore très difficiles à mettre en oeuvre à cause de problématiques techniques et de l'absence d'homogénéité/de standards entre les structures. Il est difficile de faire une liste exhaustive dans un seul ticket

Des outils très récents (date de première version officielle 06/2021) comme Wildlife Insights permettent de prendre la problématique dans leur ensemble : https://www.wildlifeinsights.org mais ont l'inconvénient d'être propriétaires et non adaptés à des problématiques européennes/spécifiques. Ils sont toutefois des exemples pour la structuration d'un système d'information qui pourrait être intégré à GeoNature ou son environnement.

J’ouvre donc ce ticket afin de proposer une discussion sur chacun des points précédents plus tous ceux que j'aurais oubliés !

En effet, dans le cadre de son expertise et depuis plusieurs années, Natural Solutions travaille sur le développement d’un outil permettant la gestion des pièges-photos, le traitement des images et l'inclusion des données dans un système d'information plus général. Cependant, cet outil est adapté à une problématique spécifique et internationale, et est propriétaire. De fait, en lien avec son implication dans la communauté, l'entreprise souhaite mettre à disposition ses compétences métiers et techniques pour adapter cet outil à un environnement open source satisfaisant les besoins français.

C'est pourquoi, depuis le séminaire SIB, Aurélie Jambon et moi-même sommes à l'origine d'un groupe de travail national sur la problématique qui s'interface à la fois avec le SIB et le SINP sur la compréhension de la problématique et la standardisation/mutualisation des données. Ce groupe de travail se réunit régulièrement et les premiers résultats de ses rassemblements devraient être publiés d'ici la fin de l'année. De plus, en partenariat avec le CREA Mont-Blanc qui traite ces problématiques depuis de nombreuses années avec plusieurs dizaines de pièges photos et plusieurs centaines de milliers de données, nous avons structuré une stratégie que nous allons mettre au propre pour vous la soumettre en commentaire du ticket.

De manière générale, cette stratégie doit être réfléchie par tous afin de satisfaire les besoins génériques, à la fois des utilisateurs de Pièges Photos mais aussi des scientifiques et des gestionnaires de données liés à l’écosystème GeoNature. N'hésitez donc pas à partager vos réflexions, travaux sur le sujet !

Une réflexion est aussi en cours pour la gestion des capteurs dans leur ensemble, à la fois au PNE et à NS. Peut-être seront-elles partagées sur ce ticket ou via d'autres canaux.

jbdesbas commented 3 years ago

Bonjour Adrien, J'apporterai simplement des éléments sur l'aspect stockage des photos/vidéo (2) : @amandine-sahl et moi avons ajouté la prise en charge du stockages/diffusion des média de taxon dans un cloud S3 (https://github.com/PnX-SI/TaxHub/pull/250) Je suis très satisfait du résultat, et j'espère qu'on pourra l'étendre pour les media d’occurrence. Les avantages de ce type de stockage :

L'utilisation d'un stockage S3 n'implique pas forcément une dépendance à un service externe puisque celui-ci peut-être auto-hebergé (ex : https://min.io/ ) (et pourquoi pas un S3 souverain pour les media de données naturalistes, hébergé par le MTE ? :kissing_closed_eyes: ).

Avec les applications photo grand public, les numérisation de collections, les pièges photos 4K, enregistrements ultrasons, etc.. la gestion des fichiers accompagnant les données d'observations n'est effectivement plus anecdotique.

Adrien-Pajot commented 3 years ago

Super intéressant merci !

Adrien-Pajot commented 3 years ago

Un schéma de la vision partagée avec le CREA Mont-Blanc

CT_NS_CREA
geobrun commented 3 years ago

Bonjour Adrien,

Quelques éléments de contexte d'abord de notre côté. Comme on en parlait ce matin, on compte acheter des pièges photo pour un poste dédié sur le sujet "loup". On a donc besoin si possible de récupérer des informations en temps réel.

Intéressant ton schéma, ce serait l'idéal comme processus je pense ! J'imagine que la partie 1 pourrait être optionnelle afin de transmettre directement les données vers la partie 4 pour les structures qui ne souhaiteraient pas s'engager vers une annotation préalable des images ni un stockage externe ?

Cela dit, l'annotation avant intégration serait vraiment un plus en terme de gain de temps. A priori, cela fonctionne bien pour les images, mais je ne sais pas ce qu'il en est concernant les vidéos. Sinon, à part le projet WildMe, tu sais s'il existe déjà d'autres jeux de données naturalistes annotés ? Concernant les plateformes comme ZooNiverse, je pense que cela peut être un bon moyen pour mobiliser une communauté sur une espèce en particulier effectivement.

Je me pose aussi des questions sur la transmission des données vers la partie 1 de ton schéma. Est-ce qu'il existe déjà un format standard partagés par les différents pièges photo pour l'envoi des données ?

Dans tous les cas, je suppose qu'il faudrait quand même passer à l’œil humain les données transmises à GeoNature pour validation ?

Adrien-Pajot commented 3 years ago

Merci pour ces éléments :

Intéressant ton schéma, ce serait l'idéal comme processus je pense ! J'imagine que la partie 1 pourrait être optionnelle afin de transmettre directement les données vers la partie 4 pour les structures qui ne souhaiteraient pas s'engager vers une annotation préalable des images ni un stockage externe ?

Comment utiliseraient-elles les données alors ? Elles utilisent juste les images ? Sans savoir ce qu'il y aurait dessus ?

Sinon, à part le projet WildMe, tu sais s'il existe déjà d'autres jeux de données naturalistes annotés ?

Wildlife Insights et beaucoup de projets français/européens mais les structures ne sont pas forcément en mesure de structurer leurs données de manières à pouvoir les mettre à disposition.

Je me pose aussi des questions sur la transmission des données vers la partie 1 de ton schéma. Est-ce qu'il existe déjà un format standard partagés par les différents pièges photo pour l'envoi des données ?

Je ne suis pas certain, c'est justement une question qui est en cours d'étude dans le GT national.

Dans tous les cas, je suppose qu'il faudrait quand même passer à l’œil humain les données transmises à GeoNature pour validation ?

Sauf si le traitement renvoie une probabilité qui fait déjà office de degré de validation (proba par un algorithme de machine Learning ou par le type d'annotation (experte, avertie, citoyenne)). Le CREA travaille sur ces questions de comparaison entre une IA, un expert et un groupe de citoyens.

Adrien-Pajot commented 3 years ago

Probablement à creuser : https://agentmorris.github.io/camera-trap-ml-survey/

geobrun commented 3 years ago

Merci pour ces informations Adrien !

Concernant ma première remarque, j'imaginais un système a priori assez simple où les données brutes envoyées par un piège photo seraient directement récupérées dans GeoNature. Il s'agirait de données très succinctes : , lieu, date et photo. Il faudrait ensuite faire le tri dans un module de Geonature pour :

Je pense que cela doit être gérable avec quelques pièges, par contre, avec des dizaines de pièges, cela doit vite nécessiter beaucoup de temps de traitement manuel ! Je ne me rends pas compte du nombre de clichés que prend un piège photo par jour (je suppose que cela dépend bien entendu de l'endroit où il est posé).

En y repensant ce matin, pour des espèces très connues dont on soupçonne la réapparition (comme le loup chez nous ou l'ours ailleurs par exemple), je pense qu'il ne doit pas être trop difficile de mobiliser quelques habitants avec des projets de science participative comme Zooniverse.

camillemonchicourt commented 3 years ago

Oui je pense aussi que cela serait une bonne chose que de pouvoir intégrer directement les photos dans GeoNature (import manuel ou automatique contenu) associées à un piège photo. Et de pouvoir ensuite les supprimer et/ou ajouter les infos sur l'espèce observée directement dans le module. Que les outil en amont soient optionnels.

Adrien-Pajot commented 3 years ago

Concernant ma première remarque, j'imaginais un système a priori assez simple où les données brutes envoyées par un piège photo seraient directement récupérées dans GeoNature. Il s'agirait de données très succinctes : , lieu, date et photo. Il faudrait ensuite faire le tri dans un module de Geonature pour :

C'est exactement comme ça qu'on le voit, mais on essaie de se détacher de la notion de "module" GeoNature en se rapprochant de la notion d'outil satellite de l'écosystème GeoNature. Ceci dans le but d'arrêter de créer des dépendances techniques et technologiques qui pourraient s'avérer limitantes. De fait les données arriveraient dans un outil connectable directement à un ou plusieurs GeoNature coeur.

L'outil serait donc bien optionnel et installable en lien avec un GeoNature.

Bien sûr tout reste à définir techniquement !

geobrun commented 3 years ago

Ok, merci pour les précisions Adrien !

Adrien-Pajot commented 2 years ago

Bonjour à toutes et à tous,

Pour information nous avons entamé le travail d'élaboration technique à la fois sur le modèle de données que sur les fonctionnalités des écrans. Ce travail se base sur Wildlife Insights et sur la co-construction avec différents acteurs. Dans un contexte d'utilisation par les détenteurs de GeoNature, nous souhaiterions mobiliser toutes les personnes intéressées par cet outil pour avancer sur un travail commun. La rentrée 2022 pourrait marquer le lancement de ce projet. Nous enverrons un mail sur la liste de diffusion GeoNature à ce moment là ! N'hésitez pas à vous manifester pour contribuer !

dthonon commented 2 years ago

Bonjour,

Un autre logiciel de traitement des images : https://cran.r-project.org/web/packages/camtrapR/.

Je n'ai pas encore essayé, mais les concepts ont l'air solides.

camillemonchicourt commented 1 month ago

L'outil ecoSecrets (aka GeoCam) est désormais disponible dans une première version fonctionnelle : https://github.com/naturalsolutions/ecoSecrets

L'intégration de DeepFaune à cet outil est en cours (https://github.com/naturalsolutions/ecoSecrets/pull/60), ce qui permettra ainsi d'analyser et annoter automatiquement les médias directement sur le serveur.

Une réflexion est aussi en cours pour pouvoir alimenter automatiquement la Synthèse de GeoNature à partir des annotations automatiques ou manuelles réalisées dans ecoSecrets. A financer...