[SMTR] [FIX] Ajusta flows de materialização e tasks de date_range

prefeitura-rio / pipelines

Gerenciador de fluxos de captura e subida de dados no datalake da Prefeitura do Rio de Janeiro | https://docs.dados.rio/guia-desenvolvedores/pipelines/

https://prefect.dados.rio/

Other

36 stars 0 forks source link

[SMTR] [FIX] Ajusta flows de materialização e tasks de date_range #498

Closed Hellcassius closed 1 year ago

Hellcassius commented 1 year ago

Após uma instabilidade no cluster, durante a configuração da VPN, as chaves que usamos no Redis para controlar as date_ranges de materalização foram resetadas/esvaziadas. Até então, operamos assumindo que o código era resiliente o suficiente para setar novamente as chaves nesse caso, o que não foi verificado. As mudanças presentes aqui, corrigem as falhas desse passo de resiliência.

Changelog:

Muda o valor do argumento table_date_column_name, bem como o nome do argumento para table_run_datetime_column_name, da task get_materialization_date_range usada nos flows de materialização: A task não estava conseguindo setar os valores corretamente no redis por fazer a query num campo de data na tabela. Mudando para timestamp_gps, temos o tipo certo de variável e maior certeza sobre qual foi o último período no qual a materialização funcionou.
Adiciona um condicional em set_last_run_timestamp: útil para casos onde a chave não existe e precisa ser setada novamente.
Adiciona mais logs nas tasks para melhor identificação de erros futuros

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_smtr/registros_ocr_rir/tasks.py
pipelines/rj_smtr/utils.py
pipelines/rj_smtr/tasks.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/veiculo/tasks.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/materialize_to_datario/flows.py
pipelines/rj_smtr/init.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py

Os seguintes usuários devem ser avisados sobre a alteração:

@borismarinho
@hellcassius
@fernandascovino
@eng-rodrigocunha

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_smtr/utils.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/veiculo/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
pipelines/rj_smtr/tasks.py
pipelines/rj_smtr/materialize_to_datario/flows.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/init.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/registros_ocr_rir/tasks.py

Os seguintes usuários devem ser avisados sobre a alteração:

@fernandascovino
@borismarinho
@hellcassius
@eng-rodrigocunha

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
pipelines/rj_smtr/utils.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/materialize_to_datario/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_smtr/veiculo/tasks.py
pipelines/rj_smtr/tasks.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
pipelines/rj_smtr/init.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/registros_ocr_rir/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/registros_ocr_rir/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@hellcassius
@fernandascovino
@borismarinho
@eng-rodrigocunha

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/materialize_to_datario/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/veiculo/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_smtr/utils.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
pipelines/rj_smtr/init.py
pipelines/rj_smtr/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/registros_ocr_rir/tasks.py

Os seguintes usuários devem ser avisados sobre a alteração:

@eng-rodrigocunha
@fernandascovino
@borismarinho
@hellcassius