[add] br_sfb_siscar - Githubissues

basedosdados / pipelines

🔀 Orquestrador de fluxos de captura, ingestão e tratamento de dados da BD

https://basedosdados.github.io/pipelines/

33 stars 13 forks source link

[add] br_sfb_siscar #849

Open laura-l-amaral opened 1 month ago

laura-l-amaral commented 1 month ago

1. Fonte original

2. Sobre os dados que compõem o CAR

O CAR é um conjunto de 9 camadas de polígonos que juntos descrevem uma dada propriedade rural.

3. Atualizações

O CAR é uma base descentralizada gerida pelos orgãos ambientais de cada estado. Os metadados do site indicam que não existe um cronograma de atualização unificado. As datas de atualização variam a depender do Estado.

4. Dicionário

Somente 5 colunas possuem dicionário

5. Transformações

dado vem .shp / colocar em .wkt
eventualmente reprojetar o datum para epsg 4674 SIRGAS 2000 (deve ser esse já)

6. Código

Testar SICAR feito pelo urbano Gilson
Possui todas funcionalidades desejadas para interagir com a API do CAR
Verifica data da atualização dos metadados;
Quebra o Captcha e baixar o arquivo em chunks;
Permite selicionar cada uma das camadas integrantes;

7. Estratégia

Criar flow simples para testar o pacote do SICAR na Cloud. Se der certo, avançar. Caso contrário, criar fork e fazer ajustes necessários.
Implementar primeiro a camada de área do imóvel e avaliar desempenho da pipeline;
Se der certo, paralelizar o download de 9 camadas e avaliar a performance;

8. Usar redis para registro de metadados

ver repo pipelines; no dump; get redis client

9. Sobre datas

Inserir data de atualização de cada estado nas suas respectivas tabelas. o metadado no site será o max date

10. partições

data de extração configurar pipeline para rodar uma vez por mês