search

BaseAdresseNationale / addok-docker

Conteneurs Addok pour Docker
151 stars 28 forks source link

Fichiers volumineux pour géocodage de masse #27

Closed fabien-cat closed 2 years ago

fabien-cat commented 2 years ago

Bonjour,

Avec le géocodage de masse /search/csv/ on obtient une erreur avec un fichier csv supérieur à un peu plus de 1000 lignes (mais fichier inférieur à 50Mo) : internal server error

Est ce qu'il y a une configuration à adapter pour traiter les fichiers volumineux ? redis ou docker ?

Merci

ThomasG77 commented 2 years ago

Bonjour,

Vous avez essayé de changer WORKER_TIMEOUT Il est à 30 sec par défaut.

Sinon pour consommer, découper vos gros fichiers. Pour cela, vous pouvez regarder du coté de https://github.com/MTES-MCT/bulk-geocoding-python-client ou bien du code https://addok.readthedocs.io/en/latest/examples/

jdesboeufs commented 2 years ago

Ou bien https://github.com/jdesboeufs/addok-geocode-stream

fabien-cat commented 2 years ago

Bonjour,

On a augmenté le nombre de worker et on est passé à une capacité 100K lignes. On a adapté la config de redis aux ressources du serveur mais ça n'a rien changé. Pour satisfaire nos besoins, on fait du traitement par lot avec le code de MTES-MCT. On testera peut-être plus tard le géocodage avec Node.JS.

Merci pour vos réponses qui nous ont bien aidé 👍