[add] br_sfb_siscar

[laura-l-amaral]

1. Fonte original

2. Sobre os dados que compõem o CAR

• O CAR é um conjunto de 9 camadas de polígonos que juntos descrevem uma dada propriedade rural.

3. Atualizações

• O CAR é uma base descentralizada gerida pelos orgãos ambientais de cada estado. Os metadados do site indicam que não existe um cronograma de atualização unificado. As datas de atualização variam a depender do Estado.

4. Dicionário

• Somente 5 colunas possuem dicionário

5. Transformações

• dado vem .shp / colocar em .wkt
• eventualmente reprojetar o datum para epsg 4674 SIRGAS 2000 (deve ser esse já)

6. Código

• Testar SICAR feito pelo urbano Gilson
• Possui todas funcionalidades desejadas para interagir com a API do CAR
• Verifica data da atualização dos metadados;
• Quebra o Captcha e baixar o arquivo em chunks;
• Permite selicionar cada uma das camadas integrantes;

7. Estratégia

• Criar flow simples para testar o pacote do SICAR na Cloud. Se der certo, avançar. Caso contrário, criar fork e fazer ajustes necessários.
• Implementar primeiro a camada de área do imóvel e avaliar desempenho da pipeline;
• Se der certo, paralelizar o download de 9 camadas e avaliar a performance;

8. Usar redis para registro de metadados

ver repo pipelines; no dump; get redis client

9. Sobre datas

Inserir data de atualização de cada estado nas suas respectivas tabelas. o metadado no site será o max date

10. partições

data de extração configurar pipeline para rodar uma vez por mês

[laura-l-amaral]

Ajustes necessários:

• [x] incluir na pipeline atualização do poll e do update_date do raw_data_source
• [ ] ajuste do nível de observação