Closed jjpaulo2 closed 4 weeks ago
@trevineju pra conseguir caminhar com a evolução do script em #1284, é importante removermos esse warning pra não gerar nenhum "falso negativo" no teste.
o único problema de atualizar a versão do fingerprint é o scrapy perder a referência das últimas URLs acessadas... mas isso não vai impactar a coleta diária. Talvez impacte a próxima coleta mensal individualmente, mas se os metadados não mudarem, o banco não vai permitir re-adicionar documentos repetidos. E se mudarem, já conhecemos o rastro que deixa no banco. Então acredito que o impacto é mínimo.
Estou aprovando a PR
Motivação
Todos os spiders estão lançando este warning. Para remover ele, apenas segui a recomendação da documentação de usar a versão
2.7
, dado que já estamos usando o scrapy 2.11.Esse é um recurso que é usado para evitar a duplicação de requisições feitas pelo Scrapy. A maior parte dos recursos afetados por essa atualização são coisas relacionadas à cache de requests, e o projeto não usa nada disso.
Eu rodei alguns spiders aleatórios para garantir que nada estava quebrando, e de fato as requisições continuam rodando perfeitamente.
Referência
Requests and Responses — Scrapy 2.11.2 documentation