search

dthonon / Client_API_VN

Export from VisioNature (Biolovision) web site to local postgresql database
GNU General Public License v3.0
3 stars 1 forks source link

Tables src_vn.places et import.places_json vides #168

Closed dthonon closed 2 years ago

dthonon commented 3 years ago

In GitLab by @mgageo on Jul 13, 2021, 18:33

Bonsoir,

La table d'import reste vide et cela doit être logique que la table correspondante dans le schéma src_vn le soit aussi.

Une requête directe https://www.faune-bretagne.org/api/places fournit bien la liste des places.

Il y a le même problème avec observers mais un message d'erreur (https 403) indique un problème d'autorisation dans faune.

Marc

dthonon commented 3 years ago

C'est aussi un problème de droit d'accès. Quel est le compte faune-france que tu utilises, afin que j'ajoute les droits d'accès aux lieux-dits ?

dthonon commented 3 years ago

In GitLab by @mgageo on Jul 14, 2021, 10:34

Mon api est sur faune-bretagne et normalement j'ai tous les droits pour les lieudits, je peux tester la requête faite le client si j'ai l'url.

Pour les observateurs, Gaëtan est train de regarder pourquoi cela ne fonctionne pas avec l'API car j'ai bien le droit PEOPLE_SEARCH (droit de filtrer par observateur) dans la gestion des droits de l'utilisateur.

dthonon commented 3 years ago

In GitLab by @mgageo on Jul 20, 2021, 11:49

Je viens d'essayer en mode "--verbose", et rien n'a l'air de se passer

2021-07-20 09:11:59,175 - DEBUG - transfer_vn - Job set: {'TaxoGroup_fb', 'LocalAdminUnits_fb', 'Species_fb', 'TerritorialUnits_fb', 'Observations_fb', 'Places_fb', 'Validations_fb'}
2021-07-20 09:11:59,176 - DEBUG - transfer_vn - Enter increment_download_1: Places
2021-07-20 09:11:59,176 - INFO - transfer_vn.store_postgresql - Connecting to database fb_db
2021-07-20 09:11:59,353 - DEBUG - transfer_vn - Number of jobs scheduled, 11
2021-07-20 09:11:59,353 - DEBUG - transfer_vn - Job Entities_fb, scheduled in: 0:03:00.646122
2021-07-20 09:11:59,354 - DEBUG - transfer_vn - Job Families_fb, scheduled in: 0:03:00.645920
2021-07-20 09:11:59,354 - DEBUG - transfer_vn - Job LocalAdminUnits_fb, scheduled in: 0:08:00.645756
2021-07-20 09:11:59,357 - DEBUG - transfer_vn - Job Observers_fb, scheduled in: 0:13:00.642776
2021-07-20 09:11:59,357 - DEBUG - transfer_vn - Job Places_fb, scheduled in: 0:18:00.642476
2021-07-20 09:11:59,357 - DEBUG - transfer_vn - Job Species_fb, scheduled in: 0:18:00.642312
2021-07-20 09:11:59,357 - DEBUG - transfer_vn - Job TaxoGroup_fb, scheduled in: 0:18:00.642153
2021-07-20 09:11:59,358 - DEBUG - transfer_vn - Job TerritorialUnits_fb, scheduled in: 0:23:00.641994
2021-07-20 09:11:59,358 - DEBUG - transfer_vn - Job Validations_fb, scheduled in: 0:23:00.641836
2021-07-20 09:11:59,358 - DEBUG - transfer_vn - Job Observations_fb, scheduled in: 0:48:00.641680
2021-07-20 09:11:59,358 - DEBUG - transfer_vn - Job Fields_fb, scheduled in: 2 days, 17:08:00.641446
2021-07-20 09:11:59,358 - DEBUG - transfer_vn - Number of jobs running, 7
2021-07-20 09:11:59,459 - DEBUG - transfer_vn.store_postgresql - Entry into StorePostgresql
2021-07-20 09:11:59,460 - DEBUG - transfer_vn.store_file - Entry into StoreFile
2021-07-20 09:11:59,460 - INFO - transfer_vn.store_postgresql - Connecting to database fb_db
2021-07-20 09:11:59,739 - INFO - transfer_vn.store_postgresql - Reading from local_admin_units of site fb
2021-07-20 09:11:59,752 - INFO - transfer_vn - fb => Starting incremental download using controler places
2021-07-20 09:11:59,752 - INFO - transfer_vn - fb => Included territorial_unit_ids: []
2021-07-20 09:11:59,752 - INFO - transfer_vn - fb => Ending download using controler places
2021-07-20 09:11:59,752 - DEBUG - transfer_vn.store_file - Exit from StoreFile
2021-07-20 09:11:59,752 - INFO - transfer_vn.store_postgresql - Closing connection to database fb_db
2021-07-20 09:11:59,754 - DEBUG - transfer_vn - The job Places_fb worked

dthonon commented 3 years ago

Utiliser --verbose est effectivement utile. Dans ce cas, on voit que les prochaines échéances sont dans le futur. Par exemple, le transfert Places est prévu à 9:30 (9:12 + 18 minutes). Il faudrait le relancer après que l'échéance soit passée. Note : l'option --status permet de connaitre les futures échéances

dthonon commented 3 years ago

In GitLab by @mgageo on Jul 20, 2021, 13:53

Je viens de relancer et pas de changement pour places.

Sur status, j'ai ces informations : (VN_env) xfer38@apivn10:~$ transfer_vn --status --verbose faune-bretagne.yaml 2>&1 | tee /tmp/out.log
2021-07-20 13:46:10,876 - INFO - transfer_vn - /home/xfer38/VN_env/bin/transfer_vn, version 2.8.1
2021-07-20 13:46:10,876 - INFO - transfer_vn - Arguments: ['--status', '--verbose', 'faune-bretagne.yaml']
2021-07-20 13:46:10,877 - INFO - transfer_vn - Getting configuration data from faune-bretagne.yaml
2021-07-20 13:46:10,877 - INFO - transfer_vn.evn_conf - Loading YAML configuration faune-bretagne.yaml
2021-07-20 13:46:10,949 - INFO - transfer_vn - Printing download status
2021-07-20 13:46:10,950 - INFO - transfer_vn - Download jobs status
2021-07-20 13:46:10,950 - INFO - transfer_vn - Creating scheduler, 2 executors, storing in sqlite
2021-07-20 13:46:10,958 - DEBUG - transfer_vn - Starting scheduler, paused=True
2021-07-20 13:46:10,963 - INFO - transfer_vn - Number of jobs scheduled, 11
2021-07-20 13:46:10,964 - INFO - transfer_vn - Job Observations_fb, scheduled: cron[year='', month='', day='', week='', day_of_week='', hour='', minute='0']
2021-07-20 13:46:10,964 - INFO - transfer_vn - Job Entities_fb, scheduled: cron[minute='15']
2021-07-20 13:46:10,964 - INFO - transfer_vn - Job Families_fb, scheduled: cron[minute='15']
2021-07-20 13:46:10,964 - INFO - transfer_vn - Job LocalAdminUnits_fb, scheduled: cron[minute='20']
2021-07-20 13:46:10,964 - INFO - transfer_vn - Job Observers_fb, scheduled: cron[minute='25']
2021-07-20 13:46:10,965 - INFO - transfer_vn - Job Places_fb, scheduled: cron[minute='30']
2021-07-20 13:46:10,965 - INFO - transfer_vn - Job Species_fb, scheduled: cron[minute='30']
2021-07-20 13:46:10,965 - INFO - transfer_vn - Job TaxoGroup_fb, scheduled: cron[minute='30']
2021-07-20 13:46:10,965 - INFO - transfer_vn - Job TerritorialUnits_fb, scheduled: cron[minute='35']
2021-07-20 13:46:10,965 - INFO - transfer_vn - Job Validations_fb, scheduled: cron[minute='35']
2021-07-20 13:46:10,965 - INFO - transfer_vn - Job Fields_fb, scheduled: cron[day_of_week='4', minute='20']

alors que dans le yaml j'ai controler:
entities:

Enable download from this controler

    enabled: true  
    schedule:  
        # Every Friday at 23:00 UTC  
        day_of_week: 6  
        hour: 6  
        minute: 0  
families:  
    # Enable download from this controler  
    enabled: true  
    schedule:  
        # Every Friday at 23:00 UTC  
        day_of_week: 6  
        hour: 6  
        minute: 5  
fields:  
    # Enable download from this controler  
    enabled: true  
    schedule:  
        # Every Friday at 23:00 UTC  
        day_of_week: 6  
        hour: 6  
        minute: 10  
local_admin_units:  
    # Enable download from this controler  
    enabled: true  
    schedule:  
        # Every Monday at 05:00 UTC  
        day_of_week: 6  
        hour: 6  
        minute: 15  
observations:  
    # Enable download from this controler  
    enabled: true  
    # Define scheduling parameters  
    schedule:  
        # Every hour  
        year: '*'  
        month: '*'  
        day: '*'  
        week: '*'  
        day_of_week: '*'  
        hour: '*'  
        minute: 0  
observers:  
    # Enable download from this controler  
    enabled: true  
    schedule:  
        # Every day at 06:00 UTC  
        day_of_week: 6  
        hour: 6  
        minute: 20  
places:  
    # Enable download from this controler  
    enabled: true  
    schedule:  
        # Every Thursday at 23:00 UTC  
        #day_of_week: 3  
        #hour: 6  
        minute: 50  
species:  
    # Enable download from this controler  
    enabled: true  
    schedule:  
        # Every Wednesday at 22:00 UTC  
        day_of_week: 6  
        hour: 6  
        minute: 40  
taxo_groups:  
    # Enable download from this controler  
    enabled: true  
    schedule:  
        # Every Wednesday at 22:00 UTC  
        day_of_week: 6  
        hour: 6  
        minute: 45  
territorial_units:  
    # Enable download from this controler  
    enabled: true  
    schedule:  
        # Every Thursday at 23:00 UTC  
        day_of_week: 6  
        hour: 6  
        minute: 50  
validations:  
    # Enable download from this controler  
    enabled: true  
    schedule:  
        # Every Friday at 23:00 UTC  
        day_of_week: 6  
        hour: 6  
        minute: 55
dthonon commented 3 years ago

Le listing de --status n'est pas en phase avec la définition dans le fichier YAML. Par exemple, pour Places, le fichier YAML indique que la tâche doit s'executer à :50:00, alors que --status indique une planification à :30:00. Il faut penser à relancer transfer_vn --schedule après chaque changement de configuration YAML.

Ceci dit, le problème de téléchargement de Places reste entier. Est-ce que tu pourrais regarder dans $HOME/tmp pour les fichiers de trace ? Normalement, ils sont tous conservés avec une rotation journalière. Il faudrait me transmettre les derniers jours, en particulier ceux avec --verbose.

Merci d'avance

dthonon commented 3 years ago

In GitLab by @mgageo on Jul 21, 2021, 07:08

Effectivement je n'avais pas relancé --schedule. Les fichiers de log sont en message privé.

dthonon commented 2 years ago

In GitLab by @mgageo on Sep 29, 2021, 08:02

Toujours rien sur l'ensemble des 3 instances dans import.places_json. La requête https://www.faune-bretagne.org/api/places?user_email=... fournit bien une réponse.

dthonon commented 2 years ago

J'ai trouvé et corrigé le problème. Je vais publier une nouvelle version avec cette correction d'ici 2-3 jours.

dthonon commented 2 years ago

mentioned in commit 2d9337ae507764f02134375f76454f3f2bcdb14c

dthonon commented 2 years ago

Fixed in 2d9337ae507764f02134375f76454f3f2bcdb14c.