Feature/to tupirama

[kalkrop]

AO ABRIR uma Pull Request de um novo raspador (spider), marque com um X cada um dos items da checklist abaixo. Caso algum item não seja marcado, JUSTIFIQUE o motivo.

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

• [ ] O layout não se parece com nenhum caso da lista de layouts padrão
• [X] É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• [ ] É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

• [X] O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• [X] O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• [X] O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• [X] Explicitar o atributo de classe end_date não se fez necessário.
• [ X] Não utilizo custom_settings em meu raspador.

Testes

• [X] Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• [X] Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
• [X] Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

• [X] Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• [X] Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• [X] Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Descrição

Esse Pull Request adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão. Neste caso, BARCO.

Resultados dos testes: to_tupirama_completa.csv to_tupirama_completa.log to_tupirama_intervalo.csv to_tupirama_intervalo.log to_tupirama_ultima_edicao.log

[trevineju]

Boa, @kalkrop! Parabéns pela primeira PR no QD!

Uma boberinha:

• [x] É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• [ ] É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Nesse caso, o check era na de baixo. Sua PR não está adicionando a spider base Barco, está adicionando um município que usa a spider base Barco.

Testes adicionados

Olhei eles e parecem ok! Os dados mais curiosos são (usando a coleta completa de referência):

'downloader/response_status_count/500': 15, 'item_dropped_count': 5, 'spidermon/validation/fields/errors/field_too_short': 5, 'spidermon/validation/fields/errors/field_too_short/files': 5, 'spidermon/validation/items/dropped': 5,

O que quer dizer que 5 documentos foram abandonados. Conferi eles (buscando pela aparição de (500) no log e realmente as URLs estão dando problema no site.

'spider_exceptions/AttributeError': 1,

Buscando por AttributeError indica que tentar acessar https://api-tupirama.barcodigital.com.br/api/publico/diario/calendario?mes=7&ano=2018 dá erro. E realmente para Julho 2018 não tem diários no site (:O)

Assim, tá tudo certo com o raspador em si (os problemas não são nossos)