search

HuemulSolutions / huemul-bigdatagovernance

Huemul BigDataGovernance, es una framework que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una estrategia corporativa de dato único, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla.
Apache License 2.0
11 stars 7 forks source link

Mejora performance OldValueTrace #102

Closed huemulDeveloper closed 4 years ago

huemulDeveloper commented 4 years ago

Mejora el rendimiento y uso de memoria al aplicar trazabilidad de cambios en los datos de tablas maestras y de referencia.

huemulDeveloper commented 4 years ago

Terminado, sin impacto de cara a usuario final.

Se debe considerar un ligero cambio de comportamiento, en las versiones anteriores si un campo de la tabla era indicado con la opción de full trazabilidad, entonces se creaba la tabla aunque no tuviera datos, desde la versión 2.4 la tabla de detalle de cambios se creará únicamente cuando exista a lo menos 1 registro.