Unifica tasks de partição de data e hora - Githubissues

prefeitura-rio / pipelines

Gerenciador de fluxos de captura e subida de dados no datalake da Prefeitura do Rio de Janeiro | https://docs.dados.rio/guia-desenvolvedores/pipelines/

https://prefect.dados.rio/

Other

35 stars 0 forks source link

Unifica tasks de partição de data e hora #517

Closed fernandascovino closed 9 months ago

fernandascovino commented 9 months ago

Changelog:

Unificação da task create_date_hour_partition e create_date_partition, mantendo a 1a com o parâmetro partition_date_only (bool)
Refatoração das pipelines afetadas (veiculo e bilhetagem)
Remoção de uma task não utilizada em nenhuma pipeline create_current_date_hour_partition

@pixuimpou @eng-rodrigocunha necessário testar antes de aprovar

github-actions[bot] commented 9 months ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
pipelines/rj_smtr/utils.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
pipelines/rj_smtr/schedules.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/init.py
pipelines/rj_smtr/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
pipelines/rj_smtr/materialize_to_datario/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
pipelines/rj_smtr/registros_ocr_rir/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/schedules.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/constants.py
pipelines/rj_smtr/tasks.py
pipelines/rj_smtr/veiculo/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@eng-rodrigocunha
@fernandascovino
@hellcassius
@borismarinho

github-actions[bot] commented 9 months ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
pipelines/rj_smtr/materialize_to_datario/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/constants.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/utils.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
pipelines/rj_smtr/init.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
pipelines/rj_smtr/registros_ocr_rir/tasks.py
pipelines/rj_smtr/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
pipelines/rj_smtr/schedules.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/schedules.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@fernandascovino
@hellcassius
@borismarinho
@eng-rodrigocunha

github-actions[bot] commented 9 months ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/schedules.py
pipelines/rj_smtr/init.py
pipelines/rj_smtr/registros_ocr_rir/tasks.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/schedules.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_smtr/utils.py
pipelines/rj_smtr/constants.py
pipelines/rj_smtr/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
pipelines/rj_smtr/materialize_to_datario/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_smtr/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@eng-rodrigocunha
@fernandascovino
@hellcassius
@borismarinho

github-actions[bot] commented 9 months ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
pipelines/rj_smtr/utils.py
pipelines/rj_smtr/flows.py
pipelines/rj_smtr/tasks.py
pipelines/rj_smtr/registros_ocr_rir/tasks.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
pipelines/rj_smtr/schedules.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/constants.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/init.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/schedules.py
pipelines/rj_smtr/materialize_to_datario/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@hellcassius
@fernandascovino
@eng-rodrigocunha
@borismarinho

github-actions[bot] commented 9 months ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/utils.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/schedules.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
pipelines/rj_smtr/tasks.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/registros_ocr_rir/tasks.py
pipelines/rj_smtr/init.py
pipelines/rj_smtr/schedules.py
pipelines/rj_smtr/constants.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/materialize_to_datario/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@borismarinho
@fernandascovino
@hellcassius
@eng-rodrigocunha

github-actions[bot] commented 9 months ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
pipelines/rj_smtr/tasks.py
pipelines/rj_smtr/registros_ocr_rir/tasks.py
pipelines/rj_smtr/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/schedules.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/materialize_to_datario/flows.py
pipelines/rj_smtr/init.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/schedules.py
pipelines/rj_smtr/constants.py
pipelines/rj_smtr/utils.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@hellcassius
@eng-rodrigocunha
@fernandascovino
@borismarinho

github-actions[bot] commented 9 months ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/schedules.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/utils.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
pipelines/rj_smtr/init.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/materialize_to_datario/flows.py
pipelines/rj_smtr/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_smtr/flows.py
pipelines/rj_smtr/schedules.py
pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
pipelines/rj_smtr/constants.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/registros_ocr_rir/tasks.py
pipelines/rj_smtr/veiculo/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@eng-rodrigocunha
@fernandascovino
@hellcassius
@borismarinho