AO ABRIR um Pull Request de um novo raspador (spider), marque com um X cada um dos items do checklist
abaixo. NÃO ABRA um novo Pull Request antes de completar todos os items abaixo.
Checklist - Novo spider
[X] Você executou uma extração completa do spider localmente e os dados retornados estavam corretos.
[X] Você executou uma extração por período (start_date e end_date definidos) ao menos uma vez e os dados retornados estavam corretos.
[X] Você verificou que não existe nenhum erro nos logs (log_count/ERROR igual a zero).
[X] Você definiu o atributo de classe start_date no seu spider com a data do Diário Oficial mais antigo disponível na página da cidade.
A data inicial de publicação foi descoberta na força bruta, colocando a data inicial em 2009 e tendo o primeiro arquivo baixado apenas em 10/04/2014.
Esqueci de salvar o log, mas executei a raspagem completa localmente algumas vezes sem maiores problemas e tudo foi devidamente processado pelo data-processing local.
Estou adicionando uma entrada no territories.csv para a associação. Não necessariamente ficará lá, mas por enquanto é necessário para reproduzir o processamento de dados localmente (a inserção também já foi feita no banco de produção).
AO ABRIR um Pull Request de um novo raspador (spider), marque com um
Xcada um dos items do checklist abaixo. NÃO ABRA um novo Pull Request antes de completar todos os items abaixo.Checklist - Novo spider
start_dateeend_datedefinidos) ao menos uma vez e os dados retornados estavam corretos.log_count/ERRORigual a zero).start_dateno seu spider com a data do Diário Oficial mais antigo disponível na página da cidade.Descrição
A data inicial de publicação foi descoberta na força bruta, colocando a data inicial em 2009 e tendo o primeiro arquivo baixado apenas em 10/04/2014.
Esqueci de salvar o log, mas executei a raspagem completa localmente algumas vezes sem maiores problemas e tudo foi devidamente processado pelo data-processing local.
Estou adicionando uma entrada no
territories.csvpara a associação. Não necessariamente ficará lá, mas por enquanto é necessário para reproduzir o processamento de dados localmente (a inserção também já foi feita no banco de produção).Não mesclar esse PR antes de https://github.com/okfn-brasil/querido-diario-data-processing/pull/64 ser mesclado