feat: migrate to bd 2.0 - Githubissues

prefeitura-rio / pipelines

Gerenciador de fluxos de captura e subida de dados no datalake da Prefeitura do Rio de Janeiro | https://docs.dados.rio/guia-desenvolvedores/pipelines/

https://prefect.dados.rio/

Other

36 stars 0 forks source link

feat: migrate to bd 2.0 #475

Closed d116626 closed 1 year ago

d116626 commented 1 year ago

[x] revisar funções que usam pacote da bd
[x] atualizar poetry
[ ] trocar config.toml nos agents

# What is the bucket that you are saving all the data? It should be 
# an unique name.
bucket_name = "rj-escritorio-dev"

[gcloud-projects]

[gcloud-projects.staging]
credentials_path = "/Users/.basedosdados/credentials/staging.json"
name = "rj-escritorio-dev"

[gcloud-projects.prod]
credentials_path = "/Users/.basedosdados/credentials/prod.json"
name = "rj-escritorio-dev"

[api]
url = "https://api.dados.rio/api/v1/graphql"

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/utils/predict_flow/flows.py
pipelines/rj_cor/meteorologia/precipitacao_alertario/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_cor/meteorologia/satelite/flows.py
pipelines/rj_cor/meteorologia/radar/precipitacao/flows.py
pipelines/utils/policy_matrix/flows.py
pipelines/utils/dump_earth_engine_asset/flows.py
pipelines/utils/dump_datario/flows.py
pipelines/rj_escritorio/geolocator/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lamina_agua/flows.py
pipelines/rj_cor/comando/eventos/flows.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_escritorio/dummy_predict/flows.py
pipelines/utils/dump_db/flows.py
pipelines/utils/dump_db/tasks.py
pipelines/utils/dump_to_gcs/flows.py
pipelines/rj_cor/meteorologia/meteorologia_inmet/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lagoa/flows.py
pipelines/utils/tasks.py
pipelines/rj_cor/meteorologia/precipitacao_websirene/flows.py
pipelines/rj_smtr/tasks.py
pipelines/utils/execute_dbt_model/flows.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/utils/georeference/flows.py
pipelines/rj_iplanrio/init.py
pipelines/utils/dump_url/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_iplanrio/processorio/flows.py
pipelines/rj_segovi/dump_ftp_adm_processorio_sicop/flows.py
pipelines/rj_escritorio/waze/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@gabriel-milan
@d116626

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_escritorio/geolocator/flows.py
pipelines/utils/dump_db/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_iplanrio/init.py
pipelines/rj_segovi/dump_ftp_adm_processorio_sicop/flows.py
pipelines/utils/dump_datario/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/utils/policy_matrix/flows.py
pipelines/rj_smtr/tasks.py
pipelines/utils/dump_to_gcs/flows.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_cor/meteorologia/satelite/flows.py
pipelines/rj_cor/meteorologia/meteorologia_inmet/flows.py
pipelines/utils/predict_flow/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_cor/meteorologia/radar/precipitacao/flows.py
pipelines/utils/dump_earth_engine_asset/flows.py
pipelines/rj_cor/meteorologia/precipitacao_websirene/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lamina_agua/flows.py
pipelines/rj_iplanrio/processorio/flows.py
pipelines/rj_cor/comando/eventos/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_escritorio/waze/flows.py
pipelines/utils/execute_dbt_model/flows.py
pipelines/rj_escritorio/dummy_predict/flows.py
pipelines/utils/georeference/flows.py
pipelines/utils/tasks.py
pipelines/rj_cor/meteorologia/precipitacao_alertario/flows.py
pipelines/utils/dump_url/flows.py
pipelines/utils/dump_db/tasks.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lagoa/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@d116626
@gabriel-milan

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_segovi/dump_ftp_adm_processorio_sicop/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_cor/meteorologia/precipitacao_websirene/flows.py
pipelines/rj_iplanrio/init.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lamina_agua/flows.py
pipelines/rj_cor/comando/eventos/flows.py
pipelines/rj_escritorio/geolocator/flows.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/utils/georeference/flows.py
pipelines/utils/dump_db/flows.py
pipelines/utils/dump_db/tasks.py
pipelines/rj_cor/meteorologia/precipitacao_alertario/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_cor/meteorologia/meteorologia_inmet/flows.py
pipelines/rj_escritorio/waze/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lagoa/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/utils/dump_earth_engine_asset/flows.py
pipelines/rj_cor/meteorologia/satelite/flows.py
pipelines/utils/tasks.py
pipelines/utils/dump_datario/flows.py
pipelines/utils/dump_to_gcs/flows.py
pipelines/utils/predict_flow/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_escritorio/dummy_predict/flows.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_cor/meteorologia/radar/precipitacao/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_smtr/tasks.py
pipelines/utils/execute_dbt_model/flows.py
pipelines/rj_iplanrio/processorio/flows.py
pipelines/utils/dump_url/flows.py
pipelines/utils/policy_matrix/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@d116626
@gabriel-milan

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/veiculo/flows.py
pipelines/utils/predict_flow/flows.py
pipelines/rj_smtr/tasks.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lagoa/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/utils/tasks.py
pipelines/rj_escritorio/waze/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/utils/dump_db/tasks.py
pipelines/rj_escritorio/geolocator/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_cor/comando/eventos/flows.py
pipelines/utils/policy_matrix/flows.py
pipelines/rj_segovi/dump_ftp_adm_processorio_sicop/flows.py
pipelines/utils/dump_earth_engine_asset/flows.py
pipelines/rj_cor/meteorologia/meteorologia_inmet/flows.py
pipelines/utils/dump_datario/flows.py
pipelines/utils/georeference/flows.py
pipelines/rj_cor/meteorologia/satelite/flows.py
pipelines/rj_cor/meteorologia/radar/precipitacao/flows.py
pipelines/rj_cor/meteorologia/precipitacao_websirene/flows.py
pipelines/utils/dump_url/flows.py
pipelines/rj_iplanrio/init.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lamina_agua/flows.py
pipelines/rj_iplanrio/processorio/flows.py
pipelines/rj_escritorio/dummy_predict/flows.py
pipelines/utils/dump_db/flows.py
pipelines/utils/dump_to_gcs/flows.py
pipelines/utils/execute_dbt_model/flows.py
pipelines/rj_cor/meteorologia/precipitacao_alertario/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@gabriel-milan
@d116626

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/utils/dump_db/flows.py
pipelines/utils/predict_flow/flows.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/utils/dump_db/tasks.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_cor/meteorologia/precipitacao_websirene/flows.py
pipelines/rj_iplanrio/sicop/flows.py
pipelines/rj_escritorio/waze/flows.py
pipelines/rj_cor/meteorologia/precipitacao_alertario/flows.py
pipelines/utils/dump_to_gcs/flows.py
pipelines/utils/georeference/flows.py
pipelines/rj_iplanrio/processorio/flows.py
pipelines/rj_cor/meteorologia/satelite/flows.py
pipelines/rj_escritorio/dummy_predict/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_iplanrio/init.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lamina_agua/flows.py
pipelines/rj_iplanrio/sicop/schedules.py
pipelines/rj_smtr/tasks.py
pipelines/utils/dump_datario/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/utils/tasks.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lagoa/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_iplanrio/sicop/init.py
pipelines/utils/dump_url/flows.py
pipelines/utils/policy_matrix/flows.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_cor/meteorologia/radar/precipitacao/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_escritorio/geolocator/flows.py
pipelines/utils/dump_earth_engine_asset/flows.py
pipelines/rj_segovi/dump_ftp_adm_processorio_sicop/flows.py
pipelines/utils/execute_dbt_model/flows.py
pipelines/rj_cor/comando/eventos/flows.py
pipelines/rj_cor/meteorologia/meteorologia_inmet/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@gabriel-milan
@d116626

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/utils/tasks.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lamina_agua/flows.py
pipelines/rj_cor/meteorologia/precipitacao_alertario/flows.py
pipelines/utils/dump_url/flows.py
pipelines/rj_iplanrio/sicop/init.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_cor/meteorologia/radar/precipitacao/flows.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/utils/dump_to_gcs/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_escritorio/dummy_predict/flows.py
pipelines/utils/dump_db/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_iplanrio/init.py
pipelines/rj_iplanrio/sicop/schedules.py
pipelines/utils/execute_dbt_model/flows.py
pipelines/rj_escritorio/geolocator/flows.py
pipelines/rj_iplanrio/processorio/flows.py
pipelines/utils/dump_db/flows.py
pipelines/utils/dump_datario/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lagoa/flows.py
pipelines/rj_cor/meteorologia/meteorologia_inmet/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/utils/georeference/flows.py
pipelines/rj_smtr/tasks.py
pipelines/rj_escritorio/waze/flows.py
pipelines/rj_cor/meteorologia/precipitacao_websirene/flows.py
pipelines/rj_segovi/dump_ftp_adm_processorio_sicop/flows.py
pipelines/rj_cor/comando/eventos/flows.py
pipelines/utils/policy_matrix/flows.py
pipelines/rj_iplanrio/sicop/flows.py
pipelines/rj_cor/meteorologia/satelite/flows.py
pipelines/utils/predict_flow/flows.py
pipelines/utils/dump_earth_engine_asset/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@gabriel-milan
@d116626

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_escritorio/geolocator/flows.py
pipelines/rj_iplanrio/sicop/init.py
pipelines/rj_cor/meteorologia/radar/precipitacao/flows.py
pipelines/rj_iplanrio/sicop/schedules.py
pipelines/utils/dump_to_gcs/flows.py
pipelines/rj_escritorio/waze/flows.py
pipelines/utils/dump_db/tasks.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_smtr/tasks.py
pipelines/utils/execute_dbt_model/flows.py
pipelines/rj_escritorio/dummy_predict/flows.py
pipelines/rj_iplanrio/init.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/utils/dump_db/flows.py
pipelines/utils/predict_flow/flows.py
pipelines/utils/dump_earth_engine_asset/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_cor/comando/eventos/flows.py
pipelines/rj_iplanrio/processorio/flows.py
pipelines/rj_segovi/dump_ftp_adm_processorio_sicop/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lamina_agua/flows.py
pipelines/rj_cor/meteorologia/precipitacao_alertario/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/utils/tasks.py
pipelines/rj_cor/meteorologia/precipitacao_websirene/flows.py
pipelines/utils/dump_url/flows.py
pipelines/rj_cor/meteorologia/meteorologia_inmet/flows.py
pipelines/utils/dump_datario/flows.py
pipelines/utils/georeference/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lagoa/flows.py
pipelines/utils/policy_matrix/flows.py
pipelines/rj_cor/meteorologia/satelite/flows.py
pipelines/rj_iplanrio/sicop/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@gabriel-milan
@d116626

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_escritorio/geolocator/flows.py
pipelines/utils/dump_db/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lagoa/flows.py
pipelines/utils/dump_datario/flows.py
pipelines/utils/dump_db/tasks.py
pipelines/utils/tasks.py
pipelines/rj_iplanrio/init.py
pipelines/rj_cor/meteorologia/precipitacao_alertario/flows.py
pipelines/rj_escritorio/dummy_predict/flows.py
pipelines/utils/policy_matrix/flows.py
pipelines/utils/dump_url/flows.py
pipelines/rj_cor/meteorologia/satelite/flows.py
pipelines/rj_smtr/tasks.py
pipelines/utils/predict_flow/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/rj_cor/meteorologia/meteorologia_inmet/flows.py
pipelines/rj_iplanrio/sicop/init.py
pipelines/rj_cor/meteorologia/radar/precipitacao/flows.py
pipelines/utils/georeference/flows.py
pipelines/rj_segovi/dump_ftp_adm_processorio_sicop/flows.py
pipelines/utils/execute_dbt_model/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lamina_agua/flows.py
pipelines/rj_iplanrio/sicop/schedules.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/utils/dump_earth_engine_asset/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_cor/comando/eventos/flows.py
pipelines/rj_cor/meteorologia/precipitacao_websirene/flows.py
pipelines/utils/dump_to_gcs/flows.py
pipelines/rj_escritorio/waze/flows.py
pipelines/rj_iplanrio/processorio/flows.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/rj_iplanrio/sicop/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@gabriel-milan
@d116626

github-actions[bot] commented 1 year ago

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:

pipelines/rj_smtr/tasks.py
pipelines/rj_cor/meteorologia/precipitacao_websirene/flows.py
pipelines/rj_escritorio/waze/flows.py
pipelines/rj_iplanrio/processorio/flows.py
pipelines/utils/dump_db/flows.py
pipelines/utils/dump_datario/flows.py
pipelines/rj_iplanrio/sicop/schedules.py
pipelines/rj_smtr/veiculo/flows.py
pipelines/utils/predict_flow/flows.py
pipelines/rj_segovi/dump_ftp_adm_processorio_sicop/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lamina_agua/flows.py
pipelines/rj_escritorio/dummy_predict/flows.py
pipelines/rj_cor/meteorologia/radar/precipitacao/flows.py
pipelines/utils/georeference/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
pipelines/utils/execute_dbt_model/flows.py
pipelines/rj_rioaguas/saneamento_drenagem/nivel_lagoa/flows.py
pipelines/rj_smtr/registros_ocr_rir/flows.py
pipelines/utils/dump_earth_engine_asset/flows.py
pipelines/utils/dump_url/flows.py
pipelines/rj_iplanrio/sicop/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
pipelines/rj_iplanrio/init.py
pipelines/utils/dump_to_gcs/flows.py
pipelines/rj_iplanrio/sicop/init.py
pipelines/rj_cor/meteorologia/satelite/flows.py
pipelines/rj_escritorio/geolocator/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
pipelines/utils/policy_matrix/flows.py
pipelines/rj_cor/meteorologia/meteorologia_inmet/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
pipelines/utils/dump_db/tasks.py
pipelines/rj_cor/meteorologia/precipitacao_alertario/flows.py
pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
pipelines/utils/tasks.py
pipelines/rj_cor/comando/eventos/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:

@gabriel-milan
@d116626