Huemul BigDataGovernance, es una framework que trabaja sobre Spark, Hive y HDFS. Permite la implementación de una estrategia corporativa de dato único, basada en buenas prácticas de Gobierno de Datos. Permite implementar tablas con control de Primary Key y Foreing Key al insertar y actualizar datos utilizando la librería, Validación de nulos, largos de textos, máximos/mínimos de números y fechas, valores únicos y valores por default. También permite clasificar los campos en aplicabilidad de derechos ARCO para facilitar la implementación de leyes de protección de datos tipo GDPR, identificar los niveles de seguridad y si se está aplicando algún tipo de encriptación. Adicionalmente permite agregar reglas de validación más complejas sobre la misma tabla.
Apache License 2.0
11
stars
7
forks
source link
Capturar los parámetros de spark en la ejecución de procesos #99
huemulDeveloper
commented
4 years ago
Se requiere capturar los parametros que usa spark para la ejecución (select SET -V).
De esta forma se puede revisar la configuración con la cual corrieron los procesos, y ver mejoras de performance o para revisar errores.