Investigar Spiders Contracts para testar las Spiders.

[matiskay]

Ahora que se esta en proceso de refactorizar las spiders y agregar items loaders para la recoleccion de datos. Nos vemos con la necesidad de testar las spider de una manera programatica.

Actualmente mi forma de testar una spider es:

• Comparar el total de elementos de una fecha.
• Escoger un item de la primera pagina y buscar este elemento en la base de datos.
• Escoger un item de una pagina intermedia y buscar este elemento en la base de datos.

• Escoger un item de la pagina final y buscar este elemento en la base de datos.

  Cosas interesantes sobre los registros de visitas.

• Hay "invarianza" en el total de visitas de una determinada fecha.
• Hay "invarianza" en los items de una determinada fecha.

Si es que spider contracts no funciona para nuestro caso la idea seria usar pytest conectado a la base de datos y verificar que los registros estan en la base de datos.

Creo que se va necesitar agregar una comando para hacer crawling de una fecha especifica.

Link: Spider Contracts: http://doc.scrapy.org/en/latest/topics/contracts.html

[aniversarioperu]

antes he usado un fake response from spider para testear los spiders de Scrapy.

también estuve testeando el pipeline https://github.com/proyectosdeley/proyectos_de_ley_scraper/tree/master/pdl_scraper

tener tests para manolo_scaper sería un golazo.

[matiskay]

@aniversarioperu, genial. Voy a revisar el fake response y proponer un metodo para testear las spider de manolo.

[aniversarioperu]

ok, si te encargas entonces me des-auto-asignaré :smile:

[matiskay]

@aniversarioperu, por ahora los unicos tests que tenemos son tests para los metodos parse de varias spiders. Hacer test para los otros metodos es mas complicado porque no solo lidiamos con paginas obtenidas por GET sino que la logica involucra parametros que se envian por POST.