etalab / rncs_worker_api_entreprise

API pour récupérer et mettre à disposition les données du Répertoire National du Commerce et des Société
https://entreprise.data.gouv.fr
MIT License
23 stars 13 forks source link

Syncro lftp trop longue #88

Closed Haelle closed 5 years ago

Haelle commented 5 years ago

Aujourd'hui la commande de sync avec lftp prend 3h c'est trop long. Trouver une solution alternative

brindu commented 5 years ago

Yep c'est un peu sauvage de tout synchroniser à chaque fois je te l'accorde. J'ai essayé de récupérer uniquement le mois en cours et le mois précédent avec les options --include-dir et --exclude-dir de lftp sans succès... Il va falloir faire un petit script plus intelligent avec des chdir un peu dans tous les sens.

Rien de bien méchant faudra juste prend un peu de temps pour le faire. En attendant, trois heures c'est pas bloquant, je vais lancer l'import en base tous les jours à 10h pour prendre large, de toute façon il y a déjà un jour de délai.

brindu commented 5 years ago

Fix in #126