[Novo spider base]: NucleoGov - Anápolis, GO

xxggabriel commented 1 month ago

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

[ ] O layout não se parece com nenhum caso da lista de layouts padrão
[x] É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
[ ] É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

[x] O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
[x] O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
[x] O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
[x] Explicitar o atributo de classe end_date não se fez necessário.
[x] Não utilizo custom_settings em meu raspador.

Testes

[x] Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
[x] Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
[x] Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

[x] Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
[x] Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
[x] Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Este pull request adiciona o spider base para o sistema NucleoGov, utilizando o mapeador (PR #1019).

Observacao

Ao analisar o NucleoGov, notei que existe outro sistema que lista decretos de forma individual via API. Não consegui listar as demais cidades, mas sei que existem municípios de outros estados que utilizam esse sistema. Neste link é possível acessar os decretos do município de Rio Verde, Goiás.

Após a aceitação deste PR, criarei os spiders das outras cidades que utilizam o NucleoGov:

Municípios que faltam ser integrados:

Testes

Devido ao intervalo de start_date ser de 2010, meu PC não tem espaço suficiente para fazer uma coleta completa.

Arquivos de teste:

ultima

maio/2024 - hoje

trevineju commented 1 month ago

Obrigada pela PR, @xxggabriel

Após a aceitação deste PR, criarei os spiders das outras cidades que utilizam o NucleoGov

Precisamos de mais municípios para revisar esta PR (pelo menos 5 é o que indicamos sempre nesses casos). Aqui, o que está em jogo é: o código nucleogov.py precisa ser genérico o suficiente para ser a classe base para vários outros raspadores. Quando se adiciona só um, não temos essa garantia. Sabemos apenas que serve pra Anápolis.

Se você puder colocar o código para os demais 4 aqui, coloco sua PR na fila de revisão. Se puder adicionar os testes pra última edição e pro período arbitrário para cada um deles, seria ótimo.

Como você disse que não consegue a coleta completa, poderia tentar para, pelo menos, 1 ano? Não faz a coleta completa (fazemos depois quando formos revisar), mas pelo menos a arbitrária ficaria com um intervalo maior que apenas um mês.

xxggabriel commented 1 month ago

Espero que isso atenda aos requisitos para revisão. Qualquer dúvida ou necessidade de ajuste, estou à disposição.

Testes para Jaú:

Testes para Paraná:

Testes para Cariri:

Testes para Valparaíso de Goiás:

trevineju commented 1 month ago

show, @xxggabriel!! Obrigada! PR adicionada à fila de revisão

okfn-brasil / querido-diario