AO ABRIR um Pull Request de um novo raspador (spider), marque com um X cada um dos items do checklist
abaixo. NÃO ABRA um novo Pull Request antes de completar todos os items abaixo.
Checklist - Novo spider
[x] Você executou uma extração completa do spider localmente e os dados retornados estavam corretos.
[x] Você executou uma extração por período (start_date e end_date definidos) ao menos uma vez e os dados retornados estavam corretos.
[x] Você verificou que não existe nenhum erro nos logs (log_count/ERROR igual a zero).
[x] Você definiu o atributo de classe start_date no seu spider com a data do Diário Oficial mais antigo disponível na página da cidade.
AO ABRIR um Pull Request de um novo raspador (spider), marque com um
X
cada um dos items do checklist abaixo. NÃO ABRA um novo Pull Request antes de completar todos os items abaixo.Checklist - Novo spider
start_date
eend_date
definidos) ao menos uma vez e os dados retornados estavam corretos.log_count/ERROR
igual a zero).start_date
no seu spider com a data do Diário Oficial mais antigo disponível na página da cidade.Descrição
947
Arquivos com Logs da checagem geral (scrapy crawl ba_alcobaca -s LOG_FILE=ba_alcobaca.txt -o ba_alcobaca.csv) ba_alcobaca.csv ba_alcobaca.txt
Arquivos com Logs da checagem aleatória com start_date e end_date (2022-06-01 a 2022-08-01) ba_alcobaca2022.csv ba_alcobaca_2022(06-08).txt
Em ambos os Logs não foram encontrados erros sequer, além dos dados extraídos estarem de acordo com o escopo esperado.
Spider modificado com atributo de classe para o primeiro dia de publicação dos diários (2018-01-02)