Procesamiento de datos

[martineyz]

¿Se pueden preprocesar los csv con otro lenguaje de programación (por ejemplo python) y luego cargar esos csvs mediante un script de php? ¿o tiene que hacerse todo mediante el script de php?

[ypne]

P: ¿Se pueden preprocesar los csv con otro lenguaje de programación (por ejemplo python) y luego cargar esos csvs mediante un script de php? ¿o tiene que hacerse todo mediante el script de php? R: Qué acción quieren hacer en el preprocesamiento? Solo es necesario hacer los INSERT desde los CSV a las tablas que ustedes definan y capturar los errores. Lo que si pueden hacer es un POST procesamiento de los errores capturados en los script de carga y eso lo pueden hacer e el Excel o python o lo que sea depediendo si la corrección del error es modificar los datos. Todo esto debe ser documentado en el readme

[rmezaa]

Por ejemplo para la entrega 2, lo que hicimos en mi grupo (que creo que se refiere a eso con la pregunta de preprocesar), con python creamos nuevos csv adecuados a nuestros esquemas procesando los csv que nos entregaron. Para esta entrega, hay solamente 1 csv que tiene distintas pestañas, lo que pensábamos hacer era separar cada pestaña en un nuevo csv y dejarlo como nos publicaron los archivos en la entrega 2 (a mano), y al igual mediante python hacer el mismo procedimiento de adecuarlos a nuestra base de datos. Y en base a estos nuevos csv procesados, usar los cargadores con php y ver si tienen errores o no al insertar los valores a la base. ¿Se puede hacer esto?

[martineyz]

P: ¿Se pueden preprocesar los csv con otro lenguaje de programación (por ejemplo python) y luego cargar esos csvs mediante un script de php? ¿o tiene que hacerse todo mediante el script de php? R: Qué acción quieren hacer en el preprocesamiento? Solo es necesario hacer los INSERT desde los CSV a las tablas que ustedes definan y capturar los errores. Lo que si pueden hacer es un POST procesamiento de los errores capturados en los script de carga y eso lo pueden hacer e el Excel o python o lo que sea depediendo si la corrección del error es modificar los datos. Todo esto debe ser documentado en el readme

Tal como comenta @rmezaa, me refiero a adapatar los datos entregados a nuestras tablas, creando nuevos csv que contengan los datos en el formato adecuado para cada tabla (mediante Python), y después con el script de PHP insertar los datos de esos csvs a las tablas de la BD. Es posible hacer eso?

[ypne]

P: se debe seguir la estrategia indicado en el punto 3 del enunciado, solo se corrige el input despues de que se detecta el error en el cargador. Es posile que algunas correcciones (como los caracteres inválidos ) se pueden corregir en el m ismo script cargador. en ningun caso se dee hacer un pre procesamiento

[martineyz]

P: se debe seguir la estrategia indicado en el punto 3 del enunciado, solo se corrige el input despues de que se detecta el error en el cargador. Es posile que algunas correcciones (como los caracteres inválidos ) se pueden corregir en el m ismo script cargador. en ningun caso se dee hacer un pre procesamiento

No me refiero a corregir cosas. A lo que me refiero es que diagamos que tengo una tabla que saca datos de 3 csvs distintos, es posible crear un csv nuevo a partir de los otros csv (mediante python) y despues con un script de php hacer el INSERT de ese csv y detectar cualquier problema que puedan tener los datos? El tema es que las tablas que tenemos son distintas de los csvs que proporcionan (como debería ser), entonces de alguna forma hay que formar esas tablas a partir de los csv dados, no se peude simplemente cargar los csv.

[ypne]

R: No los datos deben tomarse de los csv originales y polar las tablas, sin preprocesamiento previo