Lancer régulièrement les mêmes spiders est un processus douloureux

entrepreneur-interet-general / OpenScraper

An open source webapp for scraping: towards a public service for webscraping

http://www.cis-openscraper.com/

MIT License

92 stars 22 forks source link

Lancer régulièrement les mêmes spiders est un processus douloureux #62

Open DavidBruant opened 5 years ago

DavidBruant commented 5 years ago

Pour répondre aux besoins du Carrefour des Innovations Sociales, il va être nécessaire de relancer règulièrement (tous les jours ? semaines ? mois ?) les mêmes spiders afin de mettre à jour les données

Actuellement, si une spider devait échouer à cause d'un redesign, il n'y a aucune manière facile de s'en rendre compte ni de le debugger pour le corriger rapidement

JulienParis commented 5 years ago

A lier aussi avec : https://github.com/entrepreneur-interet-general/OpenScraper/issues/36

JulienParis commented 5 years ago

instruction également ici : https://github.com/entrepreneur-interet-general/CIS-front/issues/282