[Feature] Media preprocessing by recognition algorithms (DeepFaune)

[ophdlv]

[English below]

Une fois importés, les médias peuvent être annotés manuellement via la page d’annotation. Cette étape est un goulot d’étranglement dans l’analyse des données. Un pré-traitement des données générant automatiquement des annotations pourrait faciliter et accélérer cette étape.

En effet, les annotations (e.g., taxonomiques, individuelles) peuvent être prédites par un algorithme de reconnaissance. Concernant les annotations taxonomiques, Deep Faune est un bon candidat car il est performant pour catégoriser la faune française en grands groupes (Rigoudy et al., 2022). Il parait donc pertinent pour de nombreux utilisateurs français qui pourraient bénéficier de son intégration.

Il parait indispensable que les valeurs prédites puissent être confirmées ou corrigées afin que les données associées aux images soient de bonne qualité. Les valeurs prédites pourraient par exemple dans un premier temps être affichées dans un encart sur la page d’annotation, puis par la suite directement générer un pré-remplissage du formulaire d’annotation.

Il faudra également définir la gestion du déclenchement du pré-traitement d’annotation automatisé (e.g., sur demande l’utilisateur ou automatiquement lors de l’import).

---

When imported, the media can be manually annotated. To facilitate and speed up this step, it would be interesting to implement an automated preprocessing of the data.

A recognition algorithm could predict taxonomic annotations. For instance, Deep Faune well perfoms in predicting French fauna into large taxonomic groups (Rigoudy et al., 2022). It seems to be relevant for the users' needs and could be integrated.

The predicted values would be displayed to the user who could confirm or correct it, in order to insure high annotation quality. To implement this quickly, in a first time, it could be displayed in a separate insert. Then, the annotation form could be pre-filled with the predited values.

A question still remains about the preprocessing launch (e.g., on user request or automatically when data are imported?).

[camillemonchicourt]

Has it been analyzed to use part of https://github.com/PnMercantour/camtrap to process images and videos ?

[geobrun]

L'idéal serait de pouvoir se brancher sur n'importe quel outil d'annotation automatique (DeepFaune, projet du Mercantour ou autre). Mais dans les faits, cela risque d'être complexe à réaliser...

[mvergez]

[English below]

Salut ! J'avais fait un test de faire un micro-service avec FastApi qui recevait une liste d'images, se servait de DeepFaune et renvoyait une liste de prédiction. Si on se met d'accord sur le format d'entrée et de sortie, on pourrait utiliser plusieurs outils d'annotations automatiques (soit via plusieurs micro services, soit avec un seul qui prend en plus en entrée l'outil à utiliser). Si plusieurs micro services : cela peut-être plus intéressant car on pourrait utiliser des langages de programmation différents. Je n'ai pas publié ce "proof of concept" car je devais entrer avant en contact avec les mainteneurs de DeepFaune.

---

Hi! I made a micro-service with FastAPI using Deepfaune python library to compute from a list of images, a list of predictions. So if we agree on input and output interfaces, it should not be so hard to have several micro services for each recognition tools. Using micro services could enable us to be programming languages-agnostic. I did not publish this micro service since I needed to first contact DeepFaune team

[geobrun]

Plusieurs outils, cela permettrait également de rajouter un indice de confiance sur l'espèce identifiée si les outils en question concluent à la même espèce !