logs e observabilidade da extração dos dados e correção de um Dado do Snis

caue-paiva / intelli.gente_data_extraction

2 stars 1 forks source link

Open caue-paiva opened 1 month ago

caue-paiva commented 1 month ago

Objetivos:

1) Forma mais personalizável, confiável e observável de rodar o processo de extração

Forma de Escolher quais Dados Extrair em uma rodada de extração
Capacidade De re-try em uma rodada de extração e com parâmetros que mudam (Ex: Aumentar o tempo de Wait de um webscrapping)
Logs sobre o resultado de Extração

2) Resover problemas de timeout/não funcionamento do extrator de Dados do IBGE.

3) Mudar o Dados do SNIS PO048 de uma string para um int booleano 0/1

caue-paiva commented 1 month ago

PO028 - Existência do plano municipal de saneamento básico PO007 - Drenagem urbana e manejo de águas pluviais

Dados que também devem ser transformados em int binário.