okfn-brasil / querido-diario

📰 Diários oficiais brasileiros acessíveis a todos | 📰 Brazilian government gazettes, accessible to everyone.
https://queridodiario.ok.org.br/
MIT License
1.11k stars 409 forks source link

Guarapuava-PR #711

Open talitaburbulhan opened 2 years ago

talitaburbulhan commented 2 years ago

According to the census, the city of Guarapuava has its gazettes here: https://www.guarapuava.pr.gov.br/boletins-oficiais/

I would like to work on this issue.

trevineju commented 1 year ago

estou deixando a issue disponível para contribuição

almeidadm commented 1 year ago

Olá! Quero contribuir nessa issue

almeidadm commented 1 year ago

Olá! Relato aqui algumas dificuldades em automatizar a construção desse spider, e também apresentar propostas na implementação da spider. Dessa forma, pretendo deixar mais claro as motivações da construção do código.

>Boletins em duas partes Alguns boletins apresentam a descrição "Parte I" e "Parte II". image fonte: https://www.guarapuava.pr.gov.br/boletins-oficiais/2015-2/

Nesse caso, aqueles arquivos com a descrição "Parte I" serão tratados como ediçao regular, enquanto aqueles com "Parte II" serão tratados como edição extra.

>Erros no HTML da página image fonte: https://www.guarapuava.pr.gov.br/boletins-oficiais/2020-2/

Especificamente na consulta dos boletins de 2020, existe um item listado em branco. Ele é acessado pelo mesmo seletor que os boletins. Para que esse caso não retorne erro, acredito que a melhor solução é ignorar os itens selecionados com atributos href e text vazios.

>Boletim sem data não possuem arquivos disponíveis image fonte: https://www.guarapuava.pr.gov.br/boletins-oficiais/2011-2/

Algumas edições de boletim não estão disponíveis. Nesse caso, elas apresentam o número da edição, mas não apresentam data da edição. Foram encontrados no total 11 boletins indisponíveis. Nesse caso, acredito que ignorar os boletins que não apresentam data garante que a coleta não gere erros.

Buscarei deixar explicito onde implementei as soluções pra cada um desses casos.