search

datosgobar / pydatajson

Librería para analizar, generar y validar metadatos en formato data.json.
https://pydatajson.readthedocs.io
MIT License
14 stars 9 forks source link

282 validar borken url paralelizando #287

Closed AWolfsdorf closed 4 years ago

AWolfsdorf commented 4 years ago

Se agrego una clase threading_helper la que enviandole una funcion, cantindad de threads y una lista de datos, hace un mapeo de la lista con sus correspondientes salidas si el dato i-esimo se usara en la funcion.

Este procedimiento no funciona con los comportamientos de Cassette ya que el mismo consume recursos fisicos y no es compatible con la concurrencia, para eso, en los tests que usan esta funcion se monkeypatchea la constante CANT_THREADS_BROKEN_URL_VALIDATOR en 1 para que no genere errores.

closes #282

coveralls commented 4 years ago

Coverage Status

Coverage increased (+0.1%) to 83.817% when pulling 224e65762b8111d4928273302aa6c903899c47cb on 282-validar-borken-url-paralelizando into 879da46cfcd08fd06e15ce67e73630510a347db8 on master.

lucaslavandeira commented 4 years ago

Revisar tiempos de ejecución de los tests, algún tema de threading demora la salida del programa por unos 40-60 segundos