search

MPMG-DCC-UFMG / C01

Coleta de Dados Públicos
GNU General Public License v3.0
18 stars 9 forks source link

Coleta de dados de informações municipais do portal de transparência de Uberlândia. #539

Closed pedrohandrade1 closed 3 years ago

pedrohandrade1 commented 3 years ago

Comportamento Esperado

Requisição da extração de html com informações a respeito das informações municipais da cidade de Uberlândia. A extração tem o objetivo de obter os dados: Endereço, Telefone, Horário de atendimento e Registro das competências de cada Órgão Municipal ou Unidades administrativas, para que seja feito o monitoramento das Informações institucionais do município de Uberlândia.

Comportamento Atual

Não se aplica.

Localização

Não possui nenhuma coleta atualmente. Para fins de organização separar dados a nível de município (e.g. /datalake/ufmg/crawler/webcrawlerc01/Uberlândia).

Detalhes da Fonte

Serão 2 fontes de coleta. Para a primeira fonte, os dados a serem extraídos podem ser encontrados no portal de transparência da prefeitura de Uberlândia, no link: •https://www.uberlandia.mg.gov.br/portal-da-transparencia/atendimento-ao-publico/ Nessa coleta, é necessário expandir todas as categorias como será detalhado nas screenshots, desejamos o html dessa página. Para a segunda fonte, os dados a serem extraídos podem ser encontrados no portal de transparência da prefeitura de Uberlândia, no link: •https://www.uberlandia.mg.gov.br/portal-da-transparencia/informacoes-municipais/ Nessa coleta, é necessário clicar em cada item que redireciona para outra página e então coletar o html da página redirecionada, detalhamento nas screenshots.

Detalhes da Trilha

Os dados aqui solicitados são de interesse da trilha F01, sob coordenação de Rodrygo Santos (rodrygo@gmail.com).

Screenshots e Links

Os screenshots a seguir demonstram o processo de uma busca manual para essas informações. Para a primeira fonte: fonte1passo1 fonte1passo2

Para a segunda fonte: fonte2passo1 Clicar em cada item. fonte2passo2

brenomatos commented 3 years ago

@carbo6ufmg os dados se encontram em:

/datalake/ufmg/webcrawlerc01/uberlandia_infos_municipais/data/raw_pages /datalake/ufmg/webcrawlerc01/uberlandia_atendimento_publico/data/raw_pages

Caso haja algum problema, favor avisar nesta issue.

CinthiaS commented 3 years ago

Boa tarde, @brenomatos.

Seria possível colocar todos os dados de coleta em uma pasta para cada município?

Ou seja, ao invés de, /datalake/ufmg/webcrawlerc01/uberlandia_infos_municipais/data/raw_pages, os dados do município de Uberlândia ficariam em /datalake/ufmg/webcrawlerc01/Uberlândia/

Obrigada!