Migração de pipelines

[fernandascovino]

Como será feito?

• Construir de novas pipelines neste repo
• Copiar dados para bucket no Brasil
• Manter tabelas originais em produção por 1 mês (transição de BIs e análises)

• Mover dados legados para local apropriado (TBD)

Tabelas (US -> BR):

• [ ] br_rj_riodejaneiro_bilhetagem.transacao -> bilhetagem.transacoes - 15/12 (14/12 - dev)
• [ ] br_rj_riodejaneiro_bilhetagem.dicionario -> bilhetagem.dicionario - 15/12 (14/12 - dev)

Próximas:

• [ ] br_rj_riodejaneiro_bilhetagem.integracao -> bilhetagem.integracoes
• [ ] br_rj_riodejaneiro_bilhetagem.matriz_integracao -> bilhetagem.matriz_integracao
• [ ] cadastro.operadoras -> cadastro.operadoras (br)
• [ ] cadastro.consorcios -> cadastro.consorcios (br)
• [ ] br_rj_riodejaneiro_gtfs.* -> gtfs.*
• [ ] br_rj_riodejaneiro_veiculos.gps_brt -> monitoramento.gps_brt (modal, revisar flags trajeto correto)
• [ ] br_rj_riodejaneiro_veiculos.gps_sppo -> monitoramento.gps_onibus (modal, revisar flags trajeto correto)
• [ ] br_rj_riodejaneiro_veiculos.gps_stpl -> monitoramento.gps_van (modal, revisar flags trajeto correto)
• [ ] br_rj_riodejaneiro_bilhetagem.ordem_pagamento -> financeiro.receita_tarifaria (TBD)
• [ ] dahsboard_subsidio_sppo.sumario_subsidio_dia -> financeiro.subsidio (TBD)
• [ ] br_rj_riodejaneiro_bilhetagem.matriz_reparticao_tarifaria -> financeiro.matriz_reparticao_tarifaria (TBD)
• [ ] br_rj_riodejaneiro_recurso.recursos_viagem_individual -> financeiro.recursos_viagem_individual (TBD)

---

TBD:

• Como vamos guardar tabelas históricas antigas, para consulta e auditoria (multas automáticas, GPS, outras) -> Bucket, nomenclatura, etc (aberto a sugestões)
  • Definir políticas de backup dos dados (tempo de vida, local de armazenamento)

[fernandascovino]

TODOs:

• @fernandascovino -> definir esquema de dados financeiros
• @Hellcassius @pixuimpou -> migrar dados de transacao