Closed federicopfund closed 1 year ago
Please consider investigating the findings and remediating the incidents. Failure to do so may lead to compromising the associated services or software components.
🦉 GitGuardian detects secrets in your source code to help developers and security teams secure the modern development process. You are seeing this because you or someone else with access to this repository has authorized GitGuardian to scan your pull request.
Our GitHub checks need improvements? Share your feedbacks!
En este proceso de utilizo un script escrito en Power Shell, para la creación de servicio dentro del entorno de Azure, en el cual se logro automatizar el deploy de los servicio correspondiente como:
dbRetail
, en el proceso de Migración.PySpark
ySQL
.Pipeline
que sincroniza los Notebook correspondiente al procesoETL
.dbRetail
.Luego se realizaron las transformación a archivos en formato csv, con apache Spark, para esto utilice el entorno de databrick, luego utilice DataFactory para automatizar el procesó de ejecución de notebooks a través "Pipeline", El resultado de la ejecución se subió a un storage tipo Data Lake. También se logro conectar con Hadoop, por lo tanto a través de una
Spark Applicatión
se conecto con un nodo tipo storage, donde lee los archivos correspondiente a transformar. Luego para visualizar las transformaciones obtenidas, se utilizó Power BI.