Huemul BigDataGovernance, es una framework que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una estrategia corporativa de dato único, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla.
Apache License 2.0
11
stars
7
forks
source link
Agregar método genérico para open desde DataLake #127
En la definición de la capa DataLake se requiere la creación de un método para determinar qué filtros aplicar al archivo. Muchas veces no es necesario aplicar filtros, con la excepción de excluir la primera fila.
Como solución, se requiere que la clase huemul_DataLake traiga un método por default, de tal forma que pueda ser utilizado por cualquier desarrollo en forma nativa, y que luego este método pueda ser sobrecargado y/o reemplazado por la clase en particular.
En la definición de la capa DataLake se requiere la creación de un método para determinar qué filtros aplicar al archivo. Muchas veces no es necesario aplicar filtros, con la excepción de excluir la primera fila.
Como solución, se requiere que la clase huemul_DataLake traiga un método por default, de tal forma que pueda ser utilizado por cualquier desarrollo en forma nativa, y que luego este método pueda ser sobrecargado y/o reemplazado por la clase en particular.