Closed lucioerlan closed 3 months ago
@lucioerlan, fui testar e vi que o raspador para Barbacena-MG está dando muito erro 403 e 404 de arquivo que existe no site: barbacena-v1.log
Você poderia dar uma olhada nisso?
Uma possibilidade é a de experimentar diferentes custom_settings
até encontrar uma que resolva (dá pra usar raspadores do repositório e a documentação do Scrapy de referência)
Os outros raspadores estão certos ;)
@lucioerlan, fui testar e vi que o raspador para Barbacena-MG está dando muito erro 403 e 404 de arquivo que existe no site: barbacena-v1.log
Você poderia dar uma olhada nisso? Uma possibilidade é uma experiência diferente
custom_settings
até encontrar uma que resolva (dá pra usar raspadores do repositório e a documentação do Scrapy de referência)Os outros raspadores são certos ;)
obrigado @trevineju, claro, estou verificando aqui ;)
@lucioerlan, obrigada por ver!
Me ocorreu agora também sugerir que, como 3 dos 4 raspadores estão revisados, daria pra tirar mg_barbacena daqui, eu aprovo a PR e colocamos as três cidades validadas em produção (não tem pq a gente deixar código bom parado, sabe?). E aí você abre outra PR com mg_barbacena, talvez como rascunho, e vai trabalhando nela. O que você acha?
@lucioerlan removi Barbacena-MG e estou mesclando a PR, obrigada
Checklist - Novo spider
start_date
eend_date
definidos) ao menos uma vez e os dados retornados estavam corretos.log_count/ERROR
igual a zero).start_date
no seu spider com a data do Diário Oficial mais antigo disponível na página da cidade.Descrição
Adicionando vários spiders para o estado de Minas Gerais(MG) - Barbacena | Carmo do Rio Claro | Onça do Pitangui | Juatuba
Informações Complementares:
Barbacena, MG: 3105608
Carmo do Rio Claro, MG: 3114402
Onça do Pitangui, MG: 3151404
Juatuba, MG: 3136652