github-actions[bot]
commented
1 year ago Análise da árvore de código
Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/constants.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
- pipelines/rj_smtr/tasks.py
- pipelines/utils/decorators.py
- pipelines/rj_smtr/registros_ocr_rir/tasks.py
- pipelines/utils/custom.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
- pipelines/rj_smtr/schedules.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/constants.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
- pipelines/rj_smtr/registros_ocr_rir/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
- pipelines/rj_smtr/utils.py
- pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @gabriel-milan
- @hellcassius
- @d116626
- @eng-rodrigocunha
Descrição: Adiciona os flows de captura do RDO/RHO para os modais SPPO e STPL via FTP. A captura funciona buscando dentro do FTP os diretórios relativos ao modal e então, buscando todos os arquivos cujo nome inicie com o tipo do relatório ( parâmetro
report type). A busca é limitada por padrão (parâmetrodump=False) para apenas arquivos entre o (datetime atual + 11,5 horas) e as 24h anteriores a isso, porém o flow pode ser utilizado também para realização de um dump de todos os arquivos presentes num dado momento (limitados a partir do ano de 2022). Após isso, seguimos com a sequência padrão de download local dos arquivos (originalmente emtxt) e posterior pré tratamento para padronização de colunas e conversão paracsv, seguido de upload para o bucket, sem upload de logs no momento. Devido às restrições impostas pelo uso de tabelas do tipoexternal_tablee de não termos ainda pronto a infra para fácil geração dasbiglake tables, após a captura se segue uma etapa de materialização.