[IMPORTV3] Check Import Occhab

[jacquesfize]

duplicates #3019

What's done

• Debug the mapping field form
• Refactorisation of checks in Occhab
  • add docstring and type annotations
  • split the check_transient_data in multiple methods
  • add checks for boolean typed data columns
  • add check to verify consistency between differents row for one entity
  • add the possibility to generate an uuid based on a id_source in generate_missing_uuid()
• Rename geometry related functions named geography_xxx by "geometry_xxx"
• integrate inter-field requirements in the jsonschema in the field mapping creation/update routes
• A mapping between columns (file > db) can now be removed in the update
• Debug the entity count
• Error Code are now available in an enum ImportCodeError

TODO

• [x] Update existing test file --> refresh error columns
• [x] Complete existing test
• [x] Debug un-mapping action on the UI between form for different entities
• [x] clean the code and the branch history
• [x] indicate in PR changes brought to init_rows and generate_missing_uuid + change in SyntheseMixin+OcchabMixin !!!
• [x] Re-enable the check parent entity
  • [x] drop query at the beginning of check_transient_data
  • [x] re-enable check_parent_entity in check_transient_data
  • [x] restore method in parent.py
• [x] Move init_rows_validity, check_orphan_rows in check_transient_data (in synthese mixin and occhab mixin)
• [x] restore mapping.update(request.json)
• [x] Create an Enum for all error code
• [x] integrate @bouttier PR : #3120
• [x] integrate @Pierre-Narcisi PR : #3119
• [ ] Empêcher de supprimer un import si une station importée contient des habitats saisie manuellement afin de ne pas perdre ces derniers (lever une 400 avec un message expliquant qu’il faut manuellement supprimer les habitats suivants en donnant leur ids) -> https://github.com/PnX-SI/GeoNature/pull/3151
• [ ] Linéariser les migrations alembic
• [ ] Fonctionnel mais non conforme aux discussion : lorsqu’une station est dupliquée, les erreurs ne sont levées que sur la première occurrence de la station et non pour l’ensemble des lignes.
• [ ] Supprimer la CI sur les branches de dev
• [ ] https://github.com/PnX-SI/gn_module_import/issues/459 -> https://github.com/PnX-SI/GeoNature/pull/3152
• [ ] corrections des tests frontend

[codecov[bot]]

Codecov Report

Attention: Patch coverage is 86.38941% with 72 lines in your changes missing coverage. Please review.

Project coverage is 83.41%. Comparing base (420782c) to head (0475f62). Report is 427 commits behind head on feat/import.

Files	Patch %	Lines
..._occhab/backend/gn_module_occhab/imports/mixins.py	86.66%	28 Missing :warning:
...nd/geonature/core/imports/checks/dataframe/cast.py	19.35%	25 Missing :warning:
backend/geonature/core/imports/utils.py	81.81%	12 Missing :warning:
backend/geonature/core/imports/checks/sql/utils.py	57.14%	3 Missing :warning:
...d/geonature/core/imports/checks/dataframe/utils.py	93.10%	2 Missing :warning:
...ckend/geonature/core/gn_synthese/imports/mixins.py	90.00%	1 Missing :warning:
backend/geonature/core/imports/checks/sql/core.py	87.50%	1 Missing :warning:

Additional details and impacted files

```diff @@ Coverage Diff @@ ## feat/import #3077 +/- ## =============================================== + Coverage 81.80% 83.41% +1.60% =============================================== Files 120 123 +3 Lines 9300 9459 +159 =============================================== + Hits 7608 7890 +282 + Misses 1692 1569 -123 ``` | [Flag](https://app.codecov.io/gh/PnX-SI/GeoNature/pull/3077/flags?src=pr&el=flags&utm_medium=referral&utm_source=github&utm_content=comment&utm_campaign=pr+comments&utm_term=PnX-SI) | Coverage Δ | | |---|---|---| | [pytest](https://app.codecov.io/gh/PnX-SI/GeoNature/pull/3077/flags?src=pr&el=flag&utm_medium=referral&utm_source=github&utm_content=comment&utm_campaign=pr+comments&utm_term=PnX-SI) | `83.41% <86.38%> (+1.60%)` | :arrow_up: | Flags with carried forward coverage won't be shown. [Click here](https://docs.codecov.io/docs/carryforward-flags?utm_medium=referral&utm_source=github&utm_content=comment&utm_campaign=pr+comments&utm_term=PnX-SI#carryforward-flags-in-the-pull-request-comment) to find out more.

:umbrella: View full report in Codecov by Sentry.
:loudspeaker: Have feedback on the report? Share it here.

[bouttier]

On a discuté des modifications suivantes :

• Si l’UUID existe déjà en base, quelques soient l’entité considérées, on lève un warning et la ligne n’est pas importée. Cela est un changement majeur par rapport au fonctionnement précédent du module puisqu’on levait une erreur DUPLICATE_UUID. Cette évolution permet d’importer un fichier contenant des données nouvelles et existantes (par exemple, mise à jour mensuelle des données d’un partenaire à partir d’un nouvel export complet fourni par ce dernier) (à noter qu’on ne supporte pas la mise à jour des données modifiés, on se contente d’importer uniquement les nouvelles données).
  • Il faut s’occuper de https://github.com/PnX-SI/gn_module_import/issues/459 qui est encore plus casser depuis les JDD ligne par ligne.
• Si l’on importe plusieurs habitats, on peut dupliquer la station sur plusieurs lignes (cas classique de donnée provenant d’un export à plat). Il est alors contrôlé que tous les champs sont identique sur les multiples lignes sur lesquelles est répété la station.
  • Si cela n’est pas le cas, est levé une erreur d’inconsistance, et les contrôles ne sont pas lancés.
  • Si les données sont identique, on lance les contrôles. Chaque erreur est levé pour l’ensemble des lignes sur laquelle la station est répétée.
  • Il est possible de ne pas dupliquer l’ensemble de la station, mais d’indiquer uniquement son UUID sur les lignes des habitats à importer (homogène avec le cas où on importe des habitats dans une station déjà existante en base et donc totalement absente du fichier d’import – ou si on importe uniquement des habitats) ou d'indiquer son identifiant source (ne fonctionne que pour les stations présente dans le fichier source, pas pour les stations déjà en base).

[bouttier]

Voir #2833