CharlyKill7
commented
1 year ago Buen proyecto, Daniel! Algunos comentarios:
- En cuanto al repo, intenta mejorar la estructura de tu readme. Por los (#) que te veo poner, deduzco que estás intentando usar el lenguaje de markdown de html. Te invito a intentarlo mejor en el próximo proyecto; tienes muchos repos, incluso de tus propios compañeros, que puedes mirar para coger el código html y probar cómo queda. Bien la estructura de carpetas, aunque intenta no dejar archivos sueltos como el json. Podrías haber creado "data" y meter el .json con los .csv, y la de "data cleaning" renombrarla como "notebooks" o "src" para que no se confundan. También, ya que tienes un .txt con las url, intenta no sobrecargar el readme con ellas. Tal vez puedas poner un link directamente al archivo con las urls.
- Cuando haces el scrapeo de las razas en purina.com, en realidad sólo estás cambiando el endpoint a cada paso. En vez de copiar y pegar dieciséis veces cada celda y cambiar ese trozo de url, te invito a que uses el formato f"www.url.com/{endpoint}" e intentes loopear con una lista de endpoints.
- Aunque a veces haces muchas cosas "a manita" y tal vez debieras buscar formas de automatizar, la verdad es que denota atención al detalle que te esfuerces por adecuar fila a fila lo que vas trayendo. Eso sí, no te valdrá cuando el DF sea de los interminables.
- Bien la exportación a MongoDB.
Te iba a poner más comentarios específicos, pero prefiero darte mi impresión general. ¡Enhorabuena, Daniel! Aunque no es un DF muy extenso, te has ceñido a lo que te pedían y lo has hecho hasta el final. A pesar de los problemas con las traducciones, lo tienes. A pesar de los problemas con SQL, lo tienes en MongoDB. Lo que me llevo de este proyecto respecto al anterior que corregí es la sensación de quedarte menos en la superficie y tener un trabajo acabado, verdaderamente acabado. Esta es la línea que debes seguir, así que no te confíes y sigue así!
https://github.com/DFDA19/Proyect_ETL