sistema replicavel administracaopublica #1247

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

[ ] O layout não se parece com nenhum caso da lista de layouts padrão
[ ] É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
[X] É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

[X] O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
[X] O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
[X] O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
[X] Explicitar o atributo de classe end_date não se fez necessário.
[X] Não utilizo custom_settings em meu raspador.

Testes

[X] Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
[X] Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
[X] Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

[X] Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
[X] Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
[X] Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

ma_nova_iorque_arbitrario.csv ma_nova_iorque_arbitrario.log ma_nova_iorque_completo.csv ma_nova_iorque_completo.log ma_nova_iorque_mais_recente.log

Descrição

O sistema replicável foi feita através da consulta ao domínio administracaopublica.com.br. Neste domínio podemos reutilizar os tokens identificadores do domínio originalmente apresentado na Issue #1247 transparenciadministrativa.com.br. Vale ressaltar que o domínio utilizado é disponibilizado na primeira página dos boletins.

Neste novo domínio a consulta ao endereço do arquivo pdf pode ser feita de maneira direta enquanto percorre o site, além de que as alterações de data podem ser feitas diretamente na url consultada.

O raspador consulta os boletins em um intervalo de 20 em 20 dias, correspondendo ao número máximo de boletins a serem mostrados sem navegação em paginação de resultados. Com isso podemos evitar a interação com elementos de renderização dinâmica no site.

okfn-brasil / querido-diario