Hola he seguido las instruciones para probar el tutorial con dos sitios de propiedades distintos. Portal inmobiliario y toctcoc. En el primero me funciona perfectamente, pero en el segundo no logro descargar los datos. Es decir, el crawl corre pero no se porque razón no baja ningún resultado.
Este es el código:
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.exceptions import CloseSpider
from toctoc.items import ToctocItem
Hola he seguido las instruciones para probar el tutorial con dos sitios de propiedades distintos. Portal inmobiliario y toctcoc. En el primero me funciona perfectamente, pero en el segundo no logro descargar los datos. Es decir, el crawl corre pero no se porque razón no baja ningún resultado. Este es el código:
import scrapy from scrapy.spiders import CrawlSpider, Rule from scrapy.linkextractors import LinkExtractor from scrapy.exceptions import CloseSpider from toctoc.items import ToctocItem
class ToctocSpider(CrawlSpider): name = 'toctoc' item_count = 0 allowed_domain = ['https://www.toctoc.com/'] start_urls = ["https://www.toctoc.com/resultados/lista/compra/departamento/metropolitana/nunoa/?moneda=2&precioDesde=0&precioHasta=0&dormitoriosDesde=&dormitoriosHasta=&banosDesde=0&banosHasta=0&estado=2&disponibilidadEntrega=&numeroDeDiasTocToc=0&superficieDesdeUtil=0&superficieHastaUtil=0&superficieDesdeConstruida=0&superficieHastaConstruida=0&superficieDesdeTerraza=0&superficieHastaTerraza=0&superficieDesdeTerreno=0&superficieHastaTerreno=0&ordenarPor=0&pagina=1&paginaInterna=1&zoom=15&idZonaHomogenea=0&atributos=&texto=%C3%91u%C3%B1oa,%20Santiago&viewport=-33.47587140329655,-70.63162737120614,-33.43281075048825,-70.57086327691881&idPoligono=33&publicador=0&temporalidad=0", ]
rules = { Rule(LinkExtractor(allow=(),restrict_xpaths=('//ul[@class="pagination"]/li[4]/a/span[1]'))), Rule(LinkExtractor(allow=(),restrict_xpaths=('//div[@class="resul"]/ul[@class="list-res"]/li[@class="un-ress tp1"]/a' )), callback='parse_item', follow=False)
He leído la documentación y no logro encontrar la razón del porque no se descargan los resultados.