telefonicasc / etl-framework

Framework de ETLs (librerias, documentación, best practices, etc.)
GNU Affero General Public License v3.0
2 stars 6 forks source link

Timeout en las consultas (get_entities) #68

Open arcosa opened 1 year ago

arcosa commented 1 year ago

Cuando realizamos un envío de datos con batch, la librería controla que pueda producirse un timeout en el envío, con ciertos reintentos por defecto.

Estaría bien tener un mecanismo similar cuando consultamos datos. En alguna ocasión trabajando en migración de Entidades entre subservicios, he necesitado incluir ese control, por que ciertos timeouts puntuales en la recogida de datos, puede parar el script de migración. Añado una rutina utilizada en alguna ocasión para controlar posibles timeouts en las consultas:

    max_retries = 5
    retry_count = 0
    while retry_count < max_retries:
        try:
            data_to = cbm_to.get_entities(auth=auth_to, subservice=config.TO_SUBSERVICE, orderBy='id', options=['skipForwarding'], type='Streetlight', q=f"description=={luminaria['id']}")
            break
        except ReadTimeout as e:
            print(f"Intento {retry_count + 1} fallido: {e}")
            retry_count += 1
            time.sleep(1)

    if retry_count == max_retries:
        logger.error(f"Se superó el número máximo de reintentos ({max_retries}).")
        sys.exit()

La idea es que esa rutina o similar, esté incorporado dentro de la función de recogida de entidades y cuando supere el máximo de reintentos, ya lance una excepción concreta hacia atrás.