CharlyKill7
commented
1 year ago Proyecto correcto, Carlos.
- En cuanto al repo, tanto la estructura en carpetas como el readme están bien.
- La extracción de datos está bien hecha, has usado de manera efectiva el scrapeo con Selenium y de eso se trataba. Eso sí, te animo a que si lo haces con varias url de un mismo dominio, intentes hacerlo de una teniendo en cuenta los cambios de endpoint en tus funciones.
- La carga a SQL es también correcta.
Sin embargo, la transformación es deficiente. Como dijo Yona, si hacías bien el paso previo, no había apenas transformación que hacer; merge y poco más. En tu caso, has añadido información al DF a costa de generar muchos nulos en el proceso. Te pregunto: ¿es eso enriquecer la información? Aunque consigues nuevas filas, si éstas tienen nulos respecto a tus columnas anteriores y además generan nulos en ellas, tal vez, desde cierto punto de vista, estás empobreciendo el DF.
Igual que te fijaste en que los nombres tenían que estar en el mismo idioma para coincidir y poder hacer el merge, se trata de fijarse, a la hora de extraer, en si coincidiran o no las columnas. Como consejo, si tienes un csv con razas de perros, intenta buscar una tabla o columna con info que no tenga tu csv, y asegurarte de que muchas o todas tus razas coincidan con las filas de esa nueva columna. Así sólo tienes que, o bien eliminar las filas que no coincidan, o bien tratar de rellenar la info faltante.
¡Ánimo!
https://github.com/CarlosPalomaresGarcia/Proyecto4--Proyecto_ETL.git