search

datagouv / hydra

Async metadata crawler for data.gouv.fr
3 stars 0 forks source link

Avoir un fallback pour catcher toutes les exceptions dans check_url #17

Open maudetes opened 2 years ago

maudetes commented 2 years ago

On catch aujourd'hui certaines erreurs https://github.com/etalab/udata-hydra/blob/be8d8db933937d53d886aa58a8ced4ecc6dc5c66/udata_hydra/crawl.py#L237 seulement. Il serait bien d'avoir un catch en fallback si on veut pouvoir produire un message Kafka de checked quand même.

Exemple d'url qui remonte une erreur qui n'a pas l'air gérée requests.exceptions.SSLError: https://www.monactiviteformation.emploi.gouv.fr/mon-activite-formation/public/listePubliqueOF?format=csv

abulte commented 2 years ago

Je pense qu'il vaut mieux augmenter la liste d'erreurs traitées au fur et à mesure. Un catch en fallback c'est un piège à "poussière sous le tapis".