Closed gabrielbdornas closed 1 year ago
@Andrelamor, sempre que acesso a máquina que roda o processo age7 executo git status
para identificar se há algum arquivo sem ter sido commitado. Em 13/02/2023 descobri que tínhamos um arquivo não commitado:
gabriel.dornas@cge-pda:~/age7$ git status
On branch main
Untracked files:
(use "git add <file>..." to include in what will be committed)
logs/extract/ft_despesa_2023.txt
Isso ocorreu, provavelmente, no momento que incluímos na documentação mais este recurso mas a tabela ainda não havia sido criado no banco de dados. Porque isso virou um problema? A explicação encontra-se no arquivo all.sh
:
gabriel.dornas@cge-pda:~/age7$ cat all.sh
#!/bin/bash
{
git pull origin main && \
make clean && \
make parse && \
make full-extract && \
make ingest && \
make data && \
make validate && \
make check-validation && \
make report && \
make datapackage.json && \
make test && \
make build && \
make update && \
git add . && git commit -m "Atualização age7"
} > logs/all.txt
echo $? > logs/exit-code.txt
git add . && git commit -m "Atualização age7 - logs notificação"
git push origin main
Como é possível observar, o primeiro comando que este executável roda é git pull origin main
. Este pull não será executado se o HEAD do repo não estiver clean
, interrompendo a execução e, portanto, todo processo de ETL do dia.
Neste sentido, commitei o mesmo e sincronizei o versionamento git local com o github. A expectativa é que o processo volte a rodar normalmente em 14/02/2023. Vou deixar o issue aberto para monitorar se, de fato, o problema foi solucionado.
Processo finalizado após inclusão de novas tabelas via dpckan resource create
nas consultas necessárias, conforme explicado neste comentário.
Conforme pode ser demonstrado no print abaixo: