caiocvsilva
commented
2 years ago @iagoadvaz , esta coleta foi realizada e os dados se encontram em /datalake/ufmg/webcrawlerc01/Ijaci/licitacoes/data/. Favor averiguar o conteúdo. Caso haja algum problema, favor abrir uma issue.
Comportamento Esperado
Requisição de nova coleta dos documentos e arquivos relacionados aos processos licitatórios do município de Ijaci/MG. É esperado que a coleta contenha os HTML das páginas coletadas e os arquivos em si, como já existe hoje nos arquivos dos diretório
data/raw_pagesedata/files, respectivamente. Em especial, é importante que as páginas HTML coletadas da cidade de Ijaci contenham a URL presente no eventoonclickpara que seja possível associá-las aos arquivos PDF baixados (conforme detalhado na issue #478).Comportamento Atual
Na coleta atual, não é possível identificar de qual elemento HTML foi coletado um arquivo .pdf específico. Isto acontece pois nos arquivos presentes na pasta
raw_pages, os elementos HTML que deveriam conter a URL para o download dos arquivos PDF estão sem o atributo que conteria a URL.Localização
A coleta atual se encontra em
/files-gsi.mp.mg.gov.br/datalake/ufmg/crawler/webcrawlerc01//353-licitacoes-ijaci.7zDetalhes da fonte
Os processos licitatórios da cidade de Ijaci são obtidos a partir da página a seguir: http://ijacimg.web21f14.uni5.net/licitacao/cont_pag8.asp
Detalhes da trilha
Os dados aqui solicitados são de interesse da trilha M03, sob coordenação de Iago Domingues (iagoadvaz@gmail.com).
Screenshots e links (caso necessário)
Os screenshots a seguir mostram como acessar as informações de interesse da página:
Selecionar o ano de exercício do Processo Licitatório. O processo deve ser repetido para todos os anos disponíveis (2017-2021)
Fazer o download de todos os documentos listados na página.