MPMG-DCC-UFMG / C01

Coleta de Dados Públicos
GNU General Public License v3.0
18 stars 9 forks source link

Coleta geral do portal de transparência de Pará de Minas. #757

Closed pedrohandrade1 closed 3 years ago

pedrohandrade1 commented 3 years ago

Comportamento Esperado

Requisição da extração de páginas html do portal da prefeitura de Pará de Minas. A extração tem o objetivo de obter dados para a criação de validadores para identificar a presença de itens no portal de transparência da prefeitura Pará de Minas.

Comportamento Atual

Uma issue já havia sido criada previamente e os dados coletados, contudo é necessário que a coleta seja realizada novamente pois a atual apresenta problemas com caracteres especiais.

Localização

Para fins de organização separar dados a nível de município (e.g. /datalake/ufmg/webcrawlerc01/realizacaof01/para_de_minas).

Detalhes da Fonte

Os dados a serem extraídos podem ser encontrados no portal da prefeitura de Pará de Minas, nos seguintes links: •https://parademinas.mg.gov.br/https://transparencia.parademinas.mg.gov.br/

E todos os html das primeiras páginas alcançáveis a partir de: •https://transparencia.parademinas.mg.gov.br/

Para essa coleta, é necessário aguardar o carregamento de cada página.

Detalhes da Trilha

Os dados aqui solicitados são de interesse da trilha F01, sob coordenação de Rodrygo Santos (rodrygo@gmail.com).

Screenshots e Links

Não se aplica.

pedrohandrade1 commented 3 years ago

A coleta dessa fonte foi realizada e os dados encontram-se em /datalake/ufmg/webcrawlerc01/realizacaof01/para_de_minas/. Caso haja algum problema com a coleta, favor informar por meio desta issue.