Integración con HBase para MDM

[sebasrod]

Agregar opción de guardar datos de MDM en tablas de HBase

[sebasrod]

Se crea método setHBase_available en globalSettings. Por default está con valor false (compatibilidad con versiones anteriores).

[sebasrod]

agrega HBASE a huemulType_StorageType

[sebasrod]

Agrega función setHBaseCatalogMapping(df: String, col: String = null): huemul_Columns, permite hacer el mapping entre las columnas del DF y las columnas de Hbase

Ejemplo

   val tu_columna = new huemul_Columns (StringType, true, "descripción de la columna", false).setHBaseCatalogMapping("nombre_familia","nombre_campo_en_hbase")

[sebasrod]

Para guardar una tabla en HBase, se debe considerar lo siguiente:

• Solo se permite tablas de tipo "reference" y "master"
• Se debe especificar tipo de almacenamiento "HBase"

El siguiente ejemplo muestra la configuración para tabla de tipo HBase:

class tbl_demo_HBASE(huemulBigDataGov: huemul_BigDataGovernance, Control: huemul_Control) extends huemul_Table(huemulBigDataGov, Control) with Serializable {
  /**********   C O N F I G U R A C I O N   D E   L A   T A B L A   ****************************************/
  //Tipo de tabla, Master y Reference son catalogos sin particiones de periodo
  this.setTableType(huemulType_Tables.Master)
  //Tipo de archivo que sera almacenado en HDFS
  this.setStorageType(huemulType_StorageType.HBASE)
  ...

Debido a la naturaleza de HBase, se debe tener presente lo siguiente:

• HBase admite únicamente un campo como PK, en caso que la tabla definida tenga dos o más campos de PK, huemul creará uno nuevo concatenando los campos definidos por el usuario (esto solo en caso de que la tabla de usuario tenga una PK compuesta).
• HBase es eficiente para acceder a registros en particular, por tanto se sugiere que las tablas almacenadas como HBase sean pequeñas. En caso de crear tablas de mayor tamaño, o que el usuario realice muchas operaciones de agrupación, se recomienda otro tipo de almacenamiento (por ejemplo PARQUET u ORC).

Finalmente, para poder utilizar el almacenamiento de HBase desde Spark, se deben incluir las librerías necesarias para tales efectos, algunas recomendaciones son las siguientes:

• Incluir hbase-site.xml en la ejecución: Incluir el siguiente parámetro

  spark-submit --master yarn --files /etc/hbase/conf/hbase-site.xml

• Incluir librerías JARS en la ejecución: Es caso que estos ficheros no estén en el classPath de ejecución de spark, se deben incluir en --JARS

A continuación se dan como ejemplo las rutas para la ejecución sobre un ambiente HortonWorks.

* /usr/hdp/current/hbase-client/lib/hbase-server.jar
* /usr/hdp/current/hbase-client/lib/hbase-spark.jar
* /usr/hdp/current/hbase-client/lib/hbase-common.jar
* /usr/hdp/current/hbase-client/lib/hbase-client.jar
* /usr/hdp/current/hbase-client/lib/hbase-protocol.jar
* /usr/hdp/current/hbase-client/lib/hbase-annotations.jar
* /usr/hdp/current/hbase-client/lib/hbase-hadoop-compat.jar
* /usr/hdp/current/hbase-client/lib/hbase-hadoop2-compat.jar
* /usr/hdp/current/hive-client/lib/hive-hbase-handler.jar
* /usr/hdp/current/hbase-client/lib/metrics-core-2.2.0.jar