Épico: lista de tabelas elegíveis para pipeline

[crislanealves]

• [x] #244

Internas:

• [x] #248

Lista com ordem de prioridade:

• [x] br_poder360_pesquisas
• [x] #264
• [x] #265
• [x] br_me_cnpj (antiga sócios) - @rdahis já podemos fazer pipeline com o novo portal do governo
• [ ] br_ms_vacinacao_covid19/microdados
• [ ] br_ms_vacinacao_covid19/microdados_estabelecimento
• [ ] br_ms_vacinacao_covid19/microdados_paciente
• [ ] br_ms_vacinacao_covid19/microdados_vacinacao
• [x] br_cvm_oferta_publica_distribuicao/dia
• [x] br_cvm_administradores_carteira/responsavel
• [x] br_cvm_administradores_carteira/pessoa_fisica
• [x] br_cvm_administradores_carteira/pessoa_juridica
• [x] br_ibge_ipca/mes_brasil
• [x] br_ibge_ipca/mes_categoria_brasil
• [x] br_ibge_ipca/mes_categoria_municipio
• [x] br_ibge_ipca/mes_categoria_rm
• [x] br_ibge_ipca15/mes_brasil
• [x] br_ibge_ipca15/mes_categoria_brasil
• [x] br_ibge_ipca15/mes_categoria_municipio
• [x] br_ibge_ipca15/mes_categoria_rm
• [x] br_ibge_inpc/mes_brasil
• [x] br_ibge_inpc/mes_categoria_brasil
• [x] br_ibge_inpc/mes_categoria_municipio
• [x] br_ibge_inpc/mes_categoria_rm
• [x] br_sp_saopaulo_dieese_icv/mes_brasil
• [x] br_fgv_igp/igp_10_mes
• [x] br_fgv_igp/igp_di_mes
• [x] br_fgv_igp/igp_m_mes
• [x] br_fgv_igp/igp_og_mes
• [x] br_ms_cnes/estabelecimento #133
• [ ] br_fipe_fipezap/aluguel_municipio
• [ ] br_fipe_fipezap/vendas_brasil
• [ ] br_fipe_fipezap/vendas_municipio
• [ ] br_fipe_ipc/mes_brasil
• [ ] br_fipe_ipc/mes_categoria_brasil
• [x] br_ms_cnes/profissional #133
• [x] br_me_comex_stat/municipio_exportacao
• [x] br_me_comex_stat/municipio_importacao
• [x] br_me_comex_stat/ncm_exportacao
• [x] br_me_comex_stat/ncm_importacao
• [ ] br_mme_consumo_energia_eletrica/uf
• [ ] br_mc_indicadores/transferencias_municipio
• [ ] br_me_cno/microdados
• [ ] br_me_cno/microdados_cnae
• [ ] br_me_cno/microdados_vinculo
• [ ] br_me_pensionistas/microdados
• [x] br_anatel_banda_larga_fixa/densidade_brasil
• [x] br_anatel_banda_larga_fixa/densidade_municipio
• [x] br_anatel_banda_larga_fixa/densidade_uf
• [x] br_anatel_banda_larga_fixa/microdados
• [x] br_anatel_banda_larga_fixa/municipio
• [x] br_anatel_telefonia_movel/ddd
• [x] br_anatel_telefonia_movel/densidade_brasil
• [x] br_anatel_telefonia_movel/densidade_municipio
• [x] br_anatel_telefonia_movel/densidade_uf
• [x] br_anatel_telefonia_movel/modalidade
• [x] br_anatel_telefonia_movel/municipio
• [x] br_anatel_telefonia_movel/tecnologia
• [ ] br_anvisa_medicamentos_industrializados/microdados
• [x] br_cgu_servidores_executivo_federal/servidores_civis_cadastro
• [x] br_cgu_servidores_executivo_federal/servidores_militares_cadastro
• [ ] br_denatran_frota/municipio_tipo
• [ ] br_denatran_frota/uf_tipo
• [x] #150
• [x] br_ibge_pnadc/microdados
• [ ] br_anatel_banda_larga_fixa/pble
• [x] br_cgu_pessoal_executivo_federal/terceirizados
• [x] br_ons_energia_armazenada/subsistemas
• [ ] br_ana_reservatorios/sin
• [x] br_inmet_bdmep/microdados
• [ ] br_ana_reservatorios/sin
• [x] br_bd_indicadores/contabilidade
• [x] br_bd_indicadores/equipes
• [x] br_bd_indicadores/pessoas
• [x] br_bd_indicadores/receitas_planejadas
• [x] br_bd_indicadores/website_user
• [x] br_bd_indicadores/twitter_metrics
• [ ] br_bd_indicadores/okrs

Ver mais detalhes em: https://docs.google.com/spreadsheets/d/1QAzbqO0OuX7OzmQHtFpHHP8mMhzeo2uYrdh8Rde3juk/edit?usp=sharing

[fernandascovino]

(tudo em py)

• [x] br_bd_indicadores.twitter
• [ ] br_bd_indicadores.github
• [ ] br_bd_indicadores.okrs (para pensar depois)

Contexto

OKRs da BD:

O1: Base dos Dados é reconhecida como uma fonte confiável, estável e principal de dados no Brasil

• KR1.1 Ter no máximo 5 issues abertos para revisão de dados → API Github
• KR1.2 Ter 80% das bases atualizadas → número de pipelines / número de bases com tabelas tratadas
• KR1.3 Atingir 20 mil seguidores no Twitter → API Twitter
• KR1.4 Atingir 250 mil queries → Consertar os logs de acessos do Analytics

O2: A estrutura da BD é sustentável e não depende de pessoas específicas (tecnologia + governança)

• KR2.3 Ter pelo menos mais 2 pessoas com permissões altas no GitHub fora do sudo-su (coordenação) → dá para pegar pela API do Github?

[lucascr91]

@laura-l-amaral vou usar essa lista como reerência para uma dos KPIs de infra. Fique à vontade para adicionar tabelas ou trocar a ordem de prioridade, de acordo com as prioridades da equipe de dados.