transparencia-mg / age7

https://transparencia-mg.github.io/age7/
1 stars 2 forks source link

Processo age7 não rodando deste 01/02/2023 #167

Closed gabrielbdornas closed 1 year ago

gabrielbdornas commented 1 year ago

Conforme pode ser demonstrado no print abaixo:

image

gabrielbdornas commented 1 year ago

@Andrelamor, sempre que acesso a máquina que roda o processo age7 executo git status para identificar se há algum arquivo sem ter sido commitado. Em 13/02/2023 descobri que tínhamos um arquivo não commitado:

gabriel.dornas@cge-pda:~/age7$ git status
On branch main  
Untracked files: 
(use "git add <file>..." to include in what will be committed)

logs/extract/ft_despesa_2023.txt 

Isso ocorreu, provavelmente, no momento que incluímos na documentação mais este recurso mas a tabela ainda não havia sido criado no banco de dados. Porque isso virou um problema? A explicação encontra-se no arquivo all.sh:

gabriel.dornas@cge-pda:~/age7$ cat all.sh                                                                               
#!/bin/bash                                                                                                             
{                                                                                                                       
git pull origin main && \                                                                                               
make clean && \                                                                                                         
make parse && \                                                                                                         
make full-extract && \                                                                                                  
make ingest && \                                                                                                        
make data && \                                                                                                          
make validate && \                                                                                                      
make check-validation && \                                                                                              
make report && \                                                                                                        
make datapackage.json && \                                                                                              
make test && \                                                                                                          
make build && \                                                                                                         
make update && \                                                                                                        
git add . && git commit -m "Atualização age7"                                                                           
} > logs/all.txt                                                                                                        
echo $? > logs/exit-code.txt                                                                                            
git add . && git commit -m "Atualização age7 - logs notificação"                                                        
git push origin main 

Como é possível observar, o primeiro comando que este executável roda é git pull origin main. Este pull não será executado se o HEAD do repo não estiver clean, interrompendo a execução e, portanto, todo processo de ETL do dia.

Neste sentido, commitei o mesmo e sincronizei o versionamento git local com o github. A expectativa é que o processo volte a rodar normalmente em 14/02/2023. Vou deixar o issue aberto para monitorar se, de fato, o problema foi solucionado.

gabrielbdornas commented 1 year ago

Processo finalizado após inclusão de novas tabelas via dpckan resource create nas consultas necessárias, conforme explicado neste comentário.