ckan / datapusher

A standalone web service that pushes data files from a CKAN site resources into its DataStore
GNU Affero General Public License v3.0
77 stars 155 forks source link

Incomplete / invalid reading of CSV files #92

Open renatocron opened 9 years ago

renatocron commented 9 years ago

Hello,

I'm having problems in upload some CSV to Datapusher, while the same version is file using XLS.

Just use this file as a sample:

,,,,,,a,b
,,,,,,x,"{'58': 'Palmira', '2': 'Barranquilla', '120': 'Fredonia', '133': 'Yolombo', '107': 'Otras ciudades del Magdalena', '117': 'Cañas Gordas', '121': 'Frontino', '125': 'Salgar', '72': 'Anolaima', '24': 'Montería', '123': 'Nariño', '55': 'Ipiales', '50': 'Cerete', '71': 'Somondoco', '29': 'Otras ciudades de Antioquia', '10': 'Ibagué', '8': 'Fusagasugá', '100': 'Otras ciudades de la Guajira', '66': 'Duitama', '91': 'No Recuerda', '141': 'Tolú', '26': 'Otras ciudades de Cundinamarca', '115': 'Argelia', '78': 'Guaduas', '76': 'Guáchala', '116': 'Betulia', '83': 'Ubaté', '60': 'Buenaventura', '119': 'Dabeiva', '9': 'Girardot', '109': 'Puente Nacional', '90': 'Ninguno', '45': 'Arjona', '111': 'Abejorral', '112': 'Aguadas', '52': 'San Onofre', '68': 'Moniquira', '61': 'Tuluá', '34': 'Otras ciudades de Huila', '108': 'Otras ciudades de Sucre', '17': 'Villavicencio', '59': 'Buga', '15': 'Tunja', '105': 'Turbo', '106': 'Otras ciudades de Córdoba', '81': 'Tocaima', '74': 'Chía', '62': 'Cartago', '12': 'Neiva', '22': 'Pereira', '39': 'Otras ciudades de Cauca, Nariño', '138': 'Bocachica', '18': 'Villeta', '126': 'San Rafael', '6': 'Chiquinquirá', '77': 'Gacheta', '79': 'Junín', '97': 'Ningún otro', '137': 'Pasacaballo', '36': 'Otras ciudades de Bolívar', '69': 'Sabota', '1': 'Cali', '140': 'Mompox', '124': 'Rionegro', '21': 'Sincelejo', '135': 'Boquilla', '16': 'Vélez', '43': 'Bogotá', '54': 'Tumaco', '96': 'No aplica', '104': 'Turbaco', '64': 'Zarzal', '80': 'La Palma', '75': 'Facatativá', '37': 'Otras ciudades de Quindío', '41': 'Carmen de Bolívar', '4': 'Medellín', '127': 'Sonson', '28': 'Otras ciudades del Tolima', '94': 'Cualquiera', '134': 'Barú', '38': 'Otras ciudades de Casanare, Caquetá, Putumayo, Arauca', '5': 'Armenia', '7': 'Cúcuta', '56': 'Barbacoas', '48': 'Magangue', '19': 'Ciudades del extranjero', '11': 'Manizales', '70': 'Soata', '103': 'Santa Marta', '63': 'Sevilla', '129': 'Támesis', '95': 'Todos', '122': 'Gómez Plata', '31': 'Otras ciudades de Santander', '101': 'Bayunca', '67': 'Susacon', '46': 'María la baja', '82': 'Ubala', '30': 'Otras ciudades de Caldas', '132': 'Yarumal', '110': 'Zipaquirá', '102': 'San Andrés', '42': 'Villanueva', '139': 'Barrancabermeja', '118': 'Concordia', '51': 'Otras ciudades de Choco', '57': 'Otras ciudades de Risaralda', '35': 'Otras ciudades de Meta', '40': 'Otras ciudades de Cesar, Sucre, Córdoba', '20': 'Líbano', '131': 'Valparaíso', '136': 'Pontezuela', '92': 'No Sabe / No Responde', '113': 'Amaga', '32': 'Otras ciudades de Norte de Santander', '44': 'San Juan de Nepomuceno', '89': 'Otros ¿Cuál?', '73': 'Cachipay', '93': 'No responde', '47': 'San Jacinto', '27': 'Otras ciudades del Valle', '13': 'Pacho', '33': 'Otras ciudades de la Costa Atlántica', '128': 'Sopetran', '65': 'Villa de Leyva', '23': 'Pasto', '130': 'Urrao', '14': 'Sogamoso', '53': 'Popayán', '3': 'Bucaramanga', '114': 'Andes', '49': 'Lorica', '25': 'Otras ciudades de Boyacá'}"

The uploads looks fine, but the data saved on column b stop 'Palmira'.

When having multiple lines, this issue gets bigger and the files do not process as well,

replacing column b ' with " solve the problem, but I guess it not right to do it (why CSV data must be different from XLS?)