search

splor-mg / dados-totais-armazem-siafi

0 stars 0 forks source link

Falha na execução do workflow em 2024-05-21T13:35:44Z #38

Closed github-actions[bot] closed 2 months ago

fjuniorr commented 2 months ago

O erro inicial era:

python3 main.py extract
Please make sure you have the right to access data from this Data Package for your intended use.
Follow applicable norms or requirements to credit the dataset and its authors.
INFO [2024-05-21 13:35:38] Extracting attachment totais-siafi-execucao-cota-previous-2024-05-21-06-40-27.csv
INFO [2024-05-21 13:35:39] Extracting attachment totais-siafi-execucao-cota-current-2024-05-21-06-39-27.csv
INFO [2024-05-21 13:35:39] Extracting attachment totais-siafi-execucao-previous-2024-05-21-06-07-26.csv
INFO [2024-05-21 13:35:40] Extracting attachment totais-siafi-execucao-current-2024-05-21-06-07-54.csv
INFO [2024-05-21 13:35:40] Extracting attachment totais-siafi-restos-pagar-2024-05-21-06-04-49.csv
Rscript scripts/delete-email.R
frictionless validate datapackage.yaml
─────────────────────────────────── Dataset ────────────────────────────────────
                                    dataset                                     
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━┓
┃ name                       ┃ type  ┃ path                           ┃ status ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━┩
│ totais_siafi_execucao_cota │ table │ data-raw/totais_siafi_execuca… │ VALID  │
│                            │       │ (multipart)                    │        │
│ totais_siafi_execucao      │ table │ data-raw/totais_siafi_execuca… │ VALID  │
│                            │       │ (multipart)                    │        │
│ totais_siafi_restos_pagar  │ table │ data-raw/totais_siafi_restos_… │ VALID  │
└────────────────────────────┴───────┴────────────────────────────────┴────────┘
make: *** No rule to make target 'data-raw/totais-siafi-execucao-current.csv', needed by 'data/totais_siafi_execucao_cota.csv'.  Stop.

Não consegui entender o porque, mas apesar do make transform funcionar localmente no meu pc, eu consegui reproduzir o problema rodando localmente no Docker. Remover os arquivos de dados anteriores que tinham hífen como separador resolveu parcialmente o problema.

O que persistiu foi:

make: *** No rule to make target 'data-raw/*.csv', needed by 'data/totais_siafi_execucao_cota.csv'.  Stop.

que estava sendo causado porque o pattern data-raw/*.csv no make deveria encontrar pelo menos 1 arquivo mas a pasta estava vazia.

cc. @carloshob, @hslinhares

fjuniorr commented 2 months ago

Talvez durante a primeira invocação do make, seja ela qual target esteja sendo executado, todas as dependências são determinadas.

Mas isso ainda não explicaria a divergência de comportamento entre o make localmente vs no docker.

hslinhares commented 2 months ago

👍