search

udistrital / resoluciones_docentes_crud

:heavy_check_mark: Check: Api CRUD para el sistema de resoluciones
GNU General Public License v3.0
0 stars 0 forks source link

Elaboración de ETL para migración de datos #16

Closed a52290451 closed 2 years ago

a52290451 commented 3 years ago

Como sugerencia de los DBAs, se debe realizar la creación de un ETL (Extract, transform and load) para que la migración de datos en producción, pasando de una BD a otra se haga de forma automática y no se mitiguen posibles problemas.

Criterio de aceptación

Nota: en caso de ser necesario, se contará con el apoyo de los DBAs encargados.

jupmorenor commented 3 years ago

Se generó proyecto en Talend para migración de datos por medio de un ETL desde la base de datos udistrital_core_db, esquema administrativa hacia la base de datos udistrital_administrativa, esquema resoluciones

Resoluciones ETL

https://drive.google.com/file/d/1-20zNTgot5-L9z255zu-HQd1k67NcTKp/view?usp=sharing

jupmorenor commented 2 years ago

Para la ejecución del ETL es necesario primero crear el esquema de datos en la base de datos destino ejecutando los scripts de las migrations asi: script_1 y script_2 Los datos de las tablas paramétricas se transfieren a través del ETL para conservar su integridad.

En el ETL es necesario configurar las conexiones a las bases de datos de origen y destino con las credenciales correspondientes para poder ejecutarlo.

Al finalizar la ejecución del ETL se debe aplicar un script sql sobre la base de datos para que se actualicen las secuencias de las llaves primarias del esquema y evitar errores por duplicidad cuando se comience a insertar datos. link al script

jupmorenor commented 2 years ago

Se actualiza el ETL adjuntando al final un componente que ejecuta el script que actualiza las secuencias