federicopfund / data-engineer

Proceso ETL
3 stars 0 forks source link

Optimización de la función hasPathTo en la clase Node #15

Open federicopfund opened 2 months ago

federicopfund commented 2 months ago

Optimización de la función hasPathTo en la clase Node

Actualmente, el DAG ejecuta las operaciones en un solo hilo, lo que no es óptimo para operaciones que podrían ejecutarse en paralelo sin dependencias cruzadas. Implementar un mecanismo para permitir la ejecución concurrente de nodos independientes podría mejorar significativamente el rendimiento del proceso ETL.

Objetivos:

Diseñar e implementar un sistema que identifique y ejecute en paralelo nodos independientes. Asegurar que la integridad de los datos se mantenga a través de pruebas rigurosas. Documentar el enfoque y los resultados obtenidos.