[fix] br_me_cnpj - Githubissues

basedosdados / pipelines

🔀 Orquestrador de fluxos de captura, ingestão e tratamento de dados da BD

https://basedosdados.github.io/pipelines/

34 stars 13 forks source link

[fix] br_me_cnpj #886

Closed laura-l-amaral closed 2 weeks ago

laura-l-amaral commented 3 weeks ago

Atualizar dados (desatualizados nos últimos 2 meses)

Subir novos dados para Storage de basedosdados-dev

[x] 2024-09-18
[x] 2024-10-16

Testar as tabelas

[x] simples
[x] estabelecimentos

A última partição está incompleta no FTP faltam arquivos 1 e 3

[x] empresas
[x] socios

Levar dados para o Storage de produção

[x] simples
[x] estabelecimentos
[x] empresas
[x] socios

Atualizar os dados em basedosdados

[x] Mergear PR com lógica incremental alterada para rematerializar partições de 2024-09-18 e 2024-10-16
[x] Rodar materializações
[ ] Desfazer modificações na lógica incremetal
[ ] ajuste na materialização de socios

Mudar a pipeline para adapatar ao novo formato

Crawler

Atualmente o crawler verifica a data de atualização mais recente da fonte original, compara com a data mais recente da api e decide se atualizar ou não a tabela. A nova versão irá pegar a data mais recente na BD e verificar se há uma mais atualizada na API