Huemul BigDataGovernance, es una framework que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una estrategia corporativa de dato único, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla.
#79. Eliminar Backup de tablas maestras y de referencia: Agrega método control_getBackupToDelete(numBackupToMaintain: Int): Boolean. Recibe el parámetro "numBackupToMaintain" que indica la cantidad de backup que se mantendrán en HDFS (los "N" más nuevos). El resto los elimina.
#65. Integración con HBase: Se agrega soporte para almacenar tablas de referencia y maestras en HBase.
#66. Integración con ORC: Se agrega soporte para almacenar tablas en formato ORC.
Se implementan las siguientes correcciones (bug):
#75. Mejorar método control_getDQResultForWarningExclude: Cuando modelo de control está apagado, se rescata esta información desde un arreglo interno y no desde el modelo de control.
Se implementan las siguientes mejoras:
Se implementan las siguientes correcciones (bug):