Closed trevineju closed 2 weeks ago
Alguns raspadores que usam a classe base Instar começaram a enviar muita requisição, em produção, levando horas para coletar apenas uma edição.
Logs da Zyte com os problemas: log_mg_carmo_da_cachoeira_342.txt log_mg_candeias_351.txt log_mg_campo_belo_851.txt log_mg_contagem_851.txt
O motivo é que o padrão da URL mudou (deixou de terminar com /0/0/0 e passou a terminar com /0/0/ ) e por isso o filtro por data não estava mais funcionando. A PR atualiza a spider base.
/0/0/0
/0/0/
Logs após a modificação: mg_campo_belo-intervalo.csv | mg_campo_belo-intervalo.log mg_candeias-intervalo.csv | mg_candeias-intervalo.log mg_carmo_da_cachoeira-intervalo.csv | mg_carmo_da_cachoeira-intervalo.log mg_contagem-intervalo.csv | mg_contagem-intervalo.log
Alguns raspadores que usam a classe base Instar começaram a enviar muita requisição, em produção, levando horas para coletar apenas uma edição.
Logs da Zyte com os problemas: log_mg_carmo_da_cachoeira_342.txt log_mg_candeias_351.txt log_mg_campo_belo_851.txt log_mg_contagem_851.txt
O motivo é que o padrão da URL mudou (deixou de terminar com
/0/0/0e passou a terminar com/0/0/) e por isso o filtro por data não estava mais funcionando. A PR atualiza a spider base.Logs após a modificação: mg_campo_belo-intervalo.csv | mg_campo_belo-intervalo.log mg_candeias-intervalo.csv | mg_candeias-intervalo.log mg_carmo_da_cachoeira-intervalo.csv | mg_carmo_da_cachoeira-intervalo.log mg_contagem-intervalo.csv | mg_contagem-intervalo.log