Huemul BigDataGovernance, es una framework que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una estrategia corporativa de dato único, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla.
Apache License 2.0
11
stars
7
forks
source link
Agregar máxima cantidad de reintentos para validar si app está viva #136
Se requiere agregar un parámetro en globalSettins para indicar la cantidad de reintentos que debe hacer el proceso para validar que no hay otra aplicación viva aún
A veces se requiere ejecutar un proceso (A), el cual está siendo ejecutado anteriormente por otra persona (B), y en ciertas ocasiones la API de spark deja de responder si el proceso (B) está vivo, por tanto, se requiere intentar una cantidad X de veces, de tal forma de tener X cantidad de confirmaciones de que el proceso efectivamente no está vivo.
Se requiere agregar un parámetro en globalSettins para indicar la cantidad de reintentos que debe hacer el proceso para validar que no hay otra aplicación viva aún
A veces se requiere ejecutar un proceso (A), el cual está siendo ejecutado anteriormente por otra persona (B), y en ciertas ocasiones la API de spark deja de responder si el proceso (B) está vivo, por tanto, se requiere intentar una cantidad X de veces, de tal forma de tener X cantidad de confirmaciones de que el proceso efectivamente no está vivo.