transparencia-mg / age7

https://transparencia-mg.github.io/age7/
1 stars 2 forks source link

Erro na validação ao alterar as tabelas schemas #196

Closed silvianafaria closed 1 year ago

silvianafaria commented 1 year ago

No dia 04/09 foi realizao várias atualizações nas tabelas dos schemas, porém notamos que ao fazer essas alterações os relatório de validação não rodou mais.

No dia 04/10 fizemos o revert de todos os commits realizados no dia 04/09 e a partir de então o relatório voltou a rodar normalmente.

Porém, no dia 05/10 foi realizado uma nova alteração, dessa vez em apenas uma tabela para tentar identificar o erro. O relatório rodou normalmente mas parou de ser exibido. image

gabrielbdornas commented 1 year ago

@silvianafaria e @kesiabomfa, criei esse reprex para testar a sintaxe do novo arquivo schemas/dm_fonte_orcam.yaml após este commit.

A princípio não encontrei nada de errado. O resultado do script é uma iteração entre a lista enum criada, conforme reproduzi abaixo:

(venv) ➜  datapackage-reprex git:(age7-not-working) python script.py 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99

Penso que se houvesse algum erro na sintaxe do arquivo .yaml o script não teria rodado. Para comprovar essa teoria incluí um erro no arquivo .yaml (neste commit) e o resultado foi:

    self.current_event = self.state()
  File "/home/gabrielbdornas/code/estudos/teste-yaml-age7/venv/lib/python3.10/site-packages/yaml/parser.py", line 392, in parse_block_sequence_entry
    raise ParserError("while parsing a block collection", self.marks[-1],
yaml.parser.ParserError: while parsing a block collection
  in "schema_novo.yaml", line 17, column 9
expected <block end>, but found '<scalar>'
  in "schema_novo.yaml", line 18, column 12

O que, a princípio, prova que não há erro na sintaxe do arquivo schemas/dm_fonte_orcam.yaml.

Sugiro incluirmos apenas uma mudança (uma linha) em outro schema e verificar se irá rodar na próxima rotina (que ocorrerá em 07/10/2023).

gabrielbdornas commented 1 year ago

Sugiro incluirmos apenas uma mudança (uma linha) em outro schema e verificar se irá rodar na próxima rotina (que ocorrerá em 07/10/2023).

Sugestão atendida neste commit por @silvianafaria.

Verificar se irá rodar na próxima rotina (que ocorrerá em 07/10/2023).

silvianafaria commented 1 year ago

@gabrielbdornas o relatório de validação e os dados estão OK.

Vou fazer novos ajustes e acompanhar durante a semana. Qualquer coisa fora da normalidade te aciono novamente.

gabrielbdornas commented 1 year ago

@silvianafaria, acredito que o problema foi resolvido, então podemos fechar o issue... correto?

silvianafaria commented 1 year ago

@gabrielbdornas sim. A última tabela foi alterada no dia 01/11 e a validação ocorreu normalmente.