IIC2413 / Syllabus-2023-2

92 stars 1 forks source link

Cargadores de datos #321

Closed benjahuenchunir closed 1 year ago

benjahuenchunir commented 1 year ago

En el issue #310 se da a entender que es posible utilizar pandas con la condicion de que sea un proceso automático.

P:Si queremos alterar las tablas .csv subidas a GitHub para que coincidan con nuestro modelo (por ejemplo con pandas), ¿hay que realizar estas acciones en el script de la carga con los archivos sin modificar (copiados directamente de los datos que subieron)? R: Los datos NO se puede cambiar manualmente de ninguna forma, si en Pandas o algun otro tipo de sw, scriript se puede automatizar, SI se puede

Sería posible crear un archivo cargador de datos php que:

  1. Ejecute un script de python encargado de convertir los excel entregados a la estructura de nuestras tablas (para cada una de nuestras tablas seleccionar las columnas que le corresponden del excel y guardarlo en un csv, esto sin eliminar duplicados ni validar los constraint)
  2. Lea cada uno de estos archivos csv generados e inserte los datos en las tablas correspondientes (acá si se validarían los datos utilizando alguna de las estrategias entregadas en el enunciado para el manejo de errores)
ypne commented 1 year ago

R: SI, mientras sea automático y repetible