search

regardscitoyens / nosfinanceslocales_scraper

Scrape financial data of cities, EPCI, departments and regions
http://www.nosdonnees.fr/dataset/donnees-comptables-et-fiscales-des-collectivites-locales
MIT License
16 stars 7 forks source link

CSV pour différents types de zonage #13

Closed tak-tok closed 7 years ago

tak-tok commented 7 years ago

Bonjour et merci beaucoup pour le boulot effectué.

J'essaye de faire tourner le code de génération des csv. Aucun problème pour créer un fichier complet epci, par contre je ne parviens pas à faire tourner pour les autres zonages (notamment communes).

Y a t-il des fichiers à adapter ?

Merci

fmassot commented 7 years ago

Alors il est possible que cela vienne juste d'un problème de version de scrapy ou d'un autre package python. Je vais mettre à jour les requirements

fmassot commented 7 years ago

Done in 587a89ea503268b34a8c7b69b80fcc45bbe87f97 et 69fa8630f238dd7d95653187cd3e0bd1ee36afc1

tak-tok commented 7 years ago

Bonjour, Merci pour la réponse rapide. Pour info j'ai mis à jour les requirements sur mon install (ubuntu server sur une vm), ) à part le module lxml qui me génère une erreur à l'installation avec pip et que j'ai donc installé avec apt en version 3.5.0. Je ne parviens toujours pas à exporter en csv. Peut importe la zone exportée, le message "Make epci csv..." s'affiche et le fichier csv reste vide. Je dois effectuer une mauvaise manip... En alternative, je créé des fichiers json avec "json" en argument au lieu de "jsonlines" puis j'utilise ce script https://github.com/vinay20045/json-to-csv

Merci

fmassot commented 7 years ago

Bon bah en fait c juste que script était buggé... dsl. je viens de le corriger ici : f2d1de6bcfbda11c8bc1ab37d88689e0f31008ea

On peut maintenant générer tous les fichiers avec un all en argument ou préciser la zone

tak-tok commented 7 years ago

Super. Cela fonctionne parfaitement après un pull.

Merci encore pour la réactivité !