[Novo spider base]: NucleoGov - Anápolis, GO

[xxggabriel]

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

• [ ] O layout não se parece com nenhum caso da lista de layouts padrão
• [x] É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• [ ] É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

• [x] O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• [x] O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• [x] O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• [x] Explicitar o atributo de classe end_date não se fez necessário.
• [x] Não utilizo custom_settings em meu raspador.

Testes

• [x] Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• [x] Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
• [x] Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

• [x] Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• [x] Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• [x] Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Este pull request adiciona o spider base para o sistema NucleoGov, utilizando o mapeador (PR #1019).

Observacao

Ao analisar o NucleoGov, notei que existe outro sistema que lista decretos de forma individual via API. Não consegui listar as demais cidades, mas sei que existem municípios de outros estados que utilizam esse sistema. Neste link é possível acessar os decretos do município de Rio Verde, Goiás.

Após a aceitação deste PR, criarei os spiders das outras cidades que utilizam o NucleoGov:

Municípios que faltam ser integrados:

1. Diário Oficial de Cariri, TO
2. Diário Oficial do Paraná, TO
3. Diário Oficial de Jaú, TO
4. Diário Oficial de Valparaíso de Goiás, GO

Testes

Devido ao intervalo de start_date ser de 2010, meu PC não tem espaço suficiente para fazer uma coleta completa.

Arquivos de teste:

ultima

• go_anapolis.csv

• go_anapolis.log

• ultima_edicao_go_anapolis.log

maio/2024 - hoje

• go_anapolis_all.csv
• go_anapolis_all.log

[trevineju]

Obrigada pela PR, @xxggabriel

Após a aceitação deste PR, criarei os spiders das outras cidades que utilizam o NucleoGov

Precisamos de mais municípios para revisar esta PR (pelo menos 5 é o que indicamos sempre nesses casos). Aqui, o que está em jogo é: o código nucleogov.py precisa ser genérico o suficiente para ser a classe base para vários outros raspadores. Quando se adiciona só um, não temos essa garantia. Sabemos apenas que serve pra Anápolis.

Se você puder colocar o código para os demais 4 aqui, coloco sua PR na fila de revisão. Se puder adicionar os testes pra última edição e pro período arbitrário para cada um deles, seria ótimo.

Como você disse que não consegue a coleta completa, poderia tentar para, pelo menos, 1 ano? Não faz a coleta completa (fazemos depois quando formos revisar), mas pelo menos a arbitrária ficaria com um intervalo maior que apenas um mês.

[xxggabriel]

Espero que isso atenda aos requisitos para revisão. Qualquer dúvida ou necessidade de ajuste, estou à disposição.

Testes para Jaú:

• to_jau_do_tocantins.csv
• to_jau_do_tocantins.log
• ultima_to_jau_do_tocantins.log

Testes para Paraná:

• to_parana.csv
• to_parana.log
• ultima_to_parana.log

Testes para Cariri:

• to_cariri_do_tocantins.csv
• to_cariri_do_tocantins.log
• ultima_to_cariri_do_tocantins.log

Testes para Valparaíso de Goiás:

• go_valparaiso_de_goias.csv
• go_valparaiso_de_goias.log
• ultima_go_valparaiso_de_goias.log

[trevineju]

show, @xxggabriel!! Obrigada! PR adicionada à fila de revisão

[trevineju]

Outra coisa que dei uma olhada, mas ainda não entendi bem é qual o reflexo do campo calendar na query https://dom.anapolis.go.gov.br/api/diarios?data={}&calendar=true&situacao=2.

situacao=<valor> entendi que é 1 - em andamento (https://dom.anapolis.go.gov.br/api/diarios?situacao=1) 2 - publicado (https://dom.anapolis.go.gov.br/api/diarios?situacao=2) e, realmente, só queremos pegar a versão final publicada.

mas calendar=true não entendi o que está sendo selecionado.

você entendeu, @xxggabriel? chegou a olhar isso?