search

HuemulSolutions / huemul-bigdatagovernance

Huemul BigDataGovernance, es una framework que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una estrategia corporativa de dato único, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla.
Apache License 2.0
11 stars 7 forks source link

agregar nuevo comportamiento para marca eliminados en tablas reference/master #131

Closed huemulDeveloper closed 4 years ago

huemulDeveloper commented 4 years ago

Se requiere especificar un comportamiento adicional para la marca de status en las tablas de tipo master.

En ocasiones, el DF a cargar contiene solo una porción de los registros, pero no significa que los registros que no vienen en el DF fueron eliminados.

Se requiere agregar una nueva propiedad en la clase huemul_Table: setRowStatusDeleteAsDeleted(true/false), que permita indicar el comportamiento que debe tomar huemul para tratar a los eliminados en el campo status.

Para mentener la compatibilidad con versiones anteriores, esta propiedad estará por default con el valor true, lo que indica que el status de las filas eliminadas será marcada como eliminada (valor -1), en caso que se especifica "false", el status de las filas que no vienen en el DF se mantendrá inalterado.

Se sugiere que esta propiedad se especifique en el momento de crear la instancia de la tabla, de tal forma de determinar el comportamiento dependiendo de la fuente que se esté cargando.

huemulDeveloper commented 4 years ago

Se agrega método setRowStatusDeleteAsDeleted(true/false), el cual permite modificar el comportamiento sobre el campo mdm_status en las tablas de tipo master y reference.

Para mentener la compatibilidad con versiones anteriores, esta propiedad estará por default con el valor true, lo que indica que el status de las filas eliminadas será marcada como eliminada (valor -1), en caso que se especifica "false", el status de las filas que no vienen en el DF se mantendrá inalterado.