Agrega informacion meta a las spider.

manolo-rocks / manolo_scraper

Scraper de registro de visitas online. Usa Scrapy.

http://manolo.rocks

22 stars 11 forks source link

Agrega informacion meta a las spider. #31

Open matiskay opened 9 years ago

matiskay commented 9 years ago

Con el fin de rastrear los items scrapeados por una spider sugiro agregar la siguiente informacion a cada spider.

page_number
spider_name
crawled_at

Por ahora esos campos serian utiles.

aniversarioperu commented 9 years ago

cada vez que activo un spider se va guardando el output en un log, usando import logging.

talvez esa metadata se puede poner en el logging?

matiskay commented 9 years ago

@aniversarioperu, estos datos deben ser parte del item. Esta informacion sirve para debugear la spider y ubicar donde se encuentra el item buscado. Ademas, tambien puede servir para hacer busquedas mas rapidamente en los sitios de visitas si se encuentra algo revelados.

matiskay commented 8 years ago

We can also add magic fields: https://github.com/scrapinghub/scrapylib/blob/master/scrapylib/magicfields.py