search

transparencia-mg / age7

https://transparencia-mg.github.io/age7/
1 stars 2 forks source link

verificar datas nas tabelas de tempo #137

Open Andrelamor opened 1 year ago

Andrelamor commented 1 year ago

Anos anteriores a 2002

Vide colunas de ano e data na tabela dm_tempo_diario, exemplo que baixei do conjunto de Convênios de Saída: image.

Conclusão: Não é problema prever anos anteriores (1908 a 2001) nas tabelas de tempo, desde que não estejam nas tabelas fato, pois o ano inicial das consultas do PdT é 2002.

Andrelamor commented 1 year ago

Mês com valores 0, 13 e 14

Conclusão:

Andrelamor commented 1 year ago

Ano com valor 0

gabrielbdornas commented 1 year ago

@Andrelamor, A tabela dm_tempo_anual apresentanda meses 0, 13 e 14:

image

E a tabela dm_tempo_anual apresenta ano 0:

image

Segundo pesquisa realizada por @silvianafaria e @kesiabomfa os meses 0, 13 e 14 são registros válidos no armazem:

image

Sendo:

Segundo audio enviado por Luis para @silvianafaria essas são informações que não foram tratadas para alimentar o banco do PdA, mas que não há nenhum problema pois os mesmos não se ligam a nenhuma tabela fato e que portando não há nenhum registro errado sendo exibido no portal.

Necessário retirar as seguintes constraints para evitar erros de validação frictionless:

https://github.com/transparencia-mg/age7/blob/88fd13a2821d5a3b9685269c812348c391dcde99/schemas/dm_tempo_anual.yaml#L19-L22

https://github.com/transparencia-mg/age7/blob/88fd13a2821d5a3b9685269c812348c391dcde99/schemas/dm_tempo_diario.yaml#L40-L43

https://github.com/transparencia-mg/age7/blob/88fd13a2821d5a3b9685269c812348c391dcde99/schemas/dm_tempo_diario.yaml#L48-L51

E incluir validações mais complexas para garantir que, de fato, nenhum valor 0 (mês e ano), 13 e 14 estão referenciados em tabelas fato.

@Andrelamor, já que estes registros não serão limpos no transacional, pensei em criarmos um processo (utilizando Pandas) para limpar os mesmos diariamente na rotina. O que acha?