search

dthonon / Client_API_VN

Export from VisioNature (Biolovision) web site to local postgresql database
GNU General Public License v3.0
3 stars 1 forks source link

transfer_vn : stratégie pour transférer l'ensemble d'un site #164

Closed dthonon closed 2 years ago

dthonon commented 3 years ago

In GitLab by @mgageo on Jul 7, 2021, 09:20

Bonjour,

Je n'ai pas vu dans la documentation comment procéder pour transférer l'ensemble des données.

Suite à des modifications du fichier yaml, "transfer_vn --full" travaille en différentiel ou repart à zéro ?

Marc

dthonon commented 3 years ago

Je mettrai à jour la documentation, car ce n'est pas décrit actuellement. En pratique, il faut procéder en 3 temps :

  1. Transfert des toutes les données historiques transfer_vn --full. Note : la probabilité d'une erreur bloquante en cours de ce gros transfert n'est pas négligeable. Dans ce cas, il est possible de reprendre le téléchargement complèt en limitant les groupes taxonomiques et/ou les dates de début et fin
  2. Planification des tâches de mise à jour, sur la base des récurrences définies dans le fichier de configuration YAML : transfer_vn --schedule
  3. Mise à jour incrémentale régulière, par exemple dans un crontab horaire : transfer_vn --update

Les transferts écrasent les données déjà téléchargées. Ce n'est donc pas un problème de relancer transfer_vn --full sur une partie de la base.

dthonon commented 2 years ago

mentioned in commit bd4e8a76954dce1cedfefdd9de856969a3d05760

dthonon commented 2 years ago

Started transfer_vn documentation