search

BrunoSupriano / SystemTransportDeltaLake

Pipeline de Dados de um sistema de transportes
MIT License
3 stars 1 forks source link

Issue #5: Orquestração das tarefas de ingestão e transformação (Diego + Renato) #7

Closed BrunoSupriano closed 3 months ago

BrunoSupriano commented 3 months ago

Tarefas:

Configurar Databricks Jobs para orquestrar e agendar a execução dos notebooks de ingestão e transformação.

Criar Workflows que definam a ordem de execução e as dependências entre os jobs.

Monitorar a execução dos jobs, ajustando configurações conforme necessário para otimização e controle.

DiegoHahn commented 3 months ago

Workflow das tarefas funcionando. Captura de tela 2024-06-28 160920