search

regardscitoyens / nosfinanceslocales_scraper

Scrape financial data of cities, EPCI, departments and regions
http://www.nosdonnees.fr/dataset/donnees-comptables-et-fiscales-des-collectivites-locales
MIT License
16 stars 7 forks source link

Erreur d'exécution du script #5

Closed jerjerod closed 9 years ago

jerjerod commented 9 years ago

Bonjour, Je fais partie de l’agence d’urbanisme de la région grenobloise et nous sommes intéressé par votre script python de scraping du site nos finances locales pour les besoins d’une étude. J’ai donc installé toutes les dépendances de modules python et à l’exécution de la commande scrapy crawl localfinance -o scraped_data/city_2012.json -t csv -a year=2012 -a zone_type=city je reçois le message d’erreur suivant : File " /nosfinanceslocales_scraper/localfinance/spiders/localfinance_spider.py", line 6, in from scrapy.spiders import Spider ImportError: No module named spiders

Il n’est pas spécifié l’installation d’un tel module, d’ailleurs pip ne semble pas le connaitre.

Auriez-vous une idée d’où vient le problème ?

Cordialement,

fmassot commented 9 years ago

Je pense que c du à un problème de version du package scrapy. Actuellement ça fonctionne avec les versions 1.0.x

Sinon pour les données jusquà 2012, pas besoin de crawl, tout est ici http://www.nosdonnees.fr/dataset/donnees-comptables-et-fiscales-des-collectivites-locales

RouxRC commented 9 years ago

Pour installer une version correcte vous pouvez faire:

sudo apt-get remove scrapy
sudo pip uninstall Scrapy
sudo pip install Scrapy==1.0.3
jerjerod commented 9 years ago

merci, le problème venait effectivement d'une mauvaise version de Scrapy.