search

datagouv / geo.api.gouv.fr

Site Web de l'API Géo
https://geo.api.gouv.fr
32 stars 10 forks source link

Erreurs 502 sur /search/csv #68

Open pyrsmk opened 3 years ago

pyrsmk commented 3 years ago

Bonjour,

Depuis le 9 février 4 mars, des erreurs 502 Bad Gateway intempestives nous sont remontées sur la route /search/csv.

Les services de notre côté n'ont pas changé d'un iota donc j'imagine qu'une instabilité s'est créée par un dommage collatéral d'un autre projet chez vous ^^

Merci en tout cas pour le travail réalisé !

AntnEsl commented 3 years ago

Je confirme, même problème de mon côté.

TDewulf-digitaleo commented 3 years ago

J'ai le même problème aussi !

7hibault commented 3 years ago

Moi de même!

Je viens de trouver une manière de reproduire systématiquement l'erreur : en laissant des lignes vides (ce qui peut arriver quand on génère programmatiquement les fichiers)

// search.csv
nom,adresse,postcode,city
École Claude Déruet,6 Rue Albert 1er,54600,Villers-lès-Nancy
,,,
École Gilberte Monne,6 Rue d'Aquitaine,54500,Vandœuvre-lès-Nancy
École maternelle Victor Hugo,31 Rue d'Arbois,54180,Heillecourt
École maternelle Buffon,1 bis Rue de la Papeterie,54250,Champigneulles

$ curl -X POST -F data=@search.csv -F columns=adresse -F columns=postcode https://api-adresse.data.gouv.fr/search/csv/
pyrsmk commented 2 years ago

A noter qu'il y a le même soucis sur la route /search normale.

joelgombin commented 2 years ago

Du neuf du côté des mainteneurs ? on a le même souci par ici.

Spontex-microfibre commented 2 years ago

Bonjour, je rencontre également ce problème de manière récurrente. Et même en renvoyant un .csv, l'erreur persiste. Sinon l'api est top, merci beaucoup 👍

pyrsmk commented 2 years ago

Je vois aussi de notre côté que les erreurs 502 sont systématiques si le format de la requête comporte des éléments vides. Je pense qu'il faut veiller à bien formater la requête pour qu'elle soit valide. Il semble qu'il y ait quelque part dans le code du service sur la gestion/nettoyage des paramètres de la requête.

ThomasG77 commented 2 years ago

Hello à tous,

Encore d'actualité? Savoir si je dois fermer

pyrsmk commented 2 years ago

Oui, toujours d'actualité.

jdesboeufs commented 2 years ago

Je ne reproduis pas avec l'exemple plus haut. Je pense que c'est essentiellement un problème de charge passagère mais le taux de 502 sur une journée reste très faible.

Si on arrive reproduit systématiquement on pourra avancer, mais difficile dans le cas contraire.

charlie-henaff commented 2 years ago

Effectivement, j'ai un fichier immonde (lignes vides, champs vides) qui retournait des 502 et qui vient de passer donc pas un souci de formatage à mon sens.

NicoArp51 commented 2 years ago

Idem de mon côté. Avec le même fichier, un coup ça peut passer, un coup ça ne passe pas.

fat115 commented 1 year ago

Bonjour, J'avais constaté le même genre de troubles passagers en juin mais là c'est devenu systématique. J'ai un retour tronqué aux 700 premiers résultats lors d'un envoi d'un CSV via un script PHP et j'arrive à 1300 et des poussières en l'envoyant avec curl. J'ai vérifié et revérifié le fichier, modifié des lignes susceptibles de comporter des erreurs, supprimé certaines pour voir si l'arrêt était lié à une ligne pourrie mais je reste bloqué à 700 lignes retournées.

charlie-henaff commented 1 year ago

Ah oui effectivement, je viens de vérifier et sur 30 000 lignes, seulement 6 000 sont retournées (via curl)

ThomasG77 commented 1 year ago

Passez par https://guides.etalab.gouv.fr/apis-geo/1-api-adresse.html#geocodage-massif qui vous explique qu'il faut découper votre gros CSV par morceau

J'ai pris le temps de documenter. Ce serait bête de ne pas utiliser la documentation.

jdesboeufs commented 1 year ago

Bonjour,

La brique de géocodage massif est actuellement en cours de réécriture.

fat115 commented 1 year ago

Passez par https://guides.etalab.gouv.fr/apis-geo/1-api-adresse.html#geocodage-massif qui vous explique qu'il faut découper votre gros CSV par morceau

J'ai pris le temps de documenter. Ce serait bête de ne pas utiliser la documentation.

Merci pour le lien vers la doc, je la découvre. Par contre, il faudrait défnir "massif" : mon fichier CSV fait moins de 200ko, là où l'outil dispo sur https://adresse.data.gouv.fr/csv annonce une taille max de 50 Mo. Je n'avais donc pas du tout conscience que je faisais du géocodage "massif", d'autant que cela fonctionnait sans souci il y a quelques mois. Je vais voir pour passer l'upload par morceaux.

jdesboeufs commented 1 year ago

N'hésitez pas à me contacter directement pour qu'on investigue ensemble (cf mon profil).

charlie-henaff commented 1 year ago

Passez par https://guides.etalab.gouv.fr/apis-geo/1-api-adresse.html#geocodage-massif qui vous explique qu'il faut découper votre gros CSV par morceau J'ai pris le temps de documenter. Ce serait bête de ne pas utiliser la documentation.

Merci pour le lien vers la doc, je la découvre. Par contre, il faudrait défnir "massif" : mon fichier CSV fait moins de 200ko, là où l'outil dispo sur https://adresse.data.gouv.fr/csv annonce une taille max de 50 Mo. Je n'avais donc pas du tout conscience que je faisais du géocodage "massif", d'autant que cela fonctionnait sans souci il y a quelques mois. Je vais voir pour passer l'upload par morceaux.

@ThomasG77 , merci effectivement pour cette documentation et les repos d'exemple, j'étais malheureusement passé au-dessus de la partie découpage en pensant effectivement que mon fichier n'était pas massif et n'utilisant pas pyton dans mon cas.