search

MPMG-DCC-UFMG / C01

Coleta de Dados Públicos
GNU General Public License v3.0
18 stars 9 forks source link

Coleta de dados geral do portal de transparência da prefeitura de Montes Claros. #600

Closed pedrohandrade1 closed 3 years ago

pedrohandrade1 commented 3 years ago

Comportamento Esperado

Requisição da extração de páginas html do portal da prefeitura de Montes Claros. A extração tem o objetivo de obter dados para a criação de validadores para identificar a presença de itens no portal de transparência da prefeitura de Montes Claros.

Comportamento Atual

Não se aplica.

Localização

Não possui nenhuma coleta atualmente. Para fins de organização separar dados a nível de município (e.g. /datalake/ufmg/crawler/webcrawlerc01/Montes_Claros).

Detalhes da Fonte

Os dados a serem extraídos podem ser encontrados no portal da prefeitura de Montes Claros, nos seguintes links: •http://montesclaros.mg.gov.br •https://transparencia.montesclaros.mg.gov.br/

E todos os html das primeiras páginas alcançáveis a partir de: •https://transparencia.montesclaros.mg.gov.br/

Para essa coleta, é necessário aguardar o carregamento de cada página.

Detalhes da Trilha

Os dados aqui solicitados são de interesse da trilha F01, sob coordenação de Rodrygo Santos (rodrygo@gmail.com).

Screenshots e Links

Não se aplica.

caiocvsilva commented 3 years ago

@carbo6ufmg A coleta dessa fonte foi realizada. Os dados encontram-se em /datalake/ufmg/webcrawlerc01/Montes_Claros/, separados em prefeitura e transparencia. Caso haja algum problema com a coleta, favor informar por meio da issue.