[Pandas project] Luke Smith

[lukesmith194]

https://github.com/lukesmith194/pandas-proje

[AnaAGG]

🐼🦈 Proyecto sharks 🐼🦈

Hola Luke 🙋🏻‍♀️ vamos con las correcciones del primer proyecto del bootcamp

README

En el readme, tienes las hipótesis y un pequeño esquema de los pasos que has ido dando a lo largo del proyecto.

¿Qué cosas me faltaron en este readme?

• Información sobre el dataset, de que iba, que información teníamos etc.
• En relación al dataset, como no lo podíamos poner el repo lo ideal hubiera sido que pusieras el link a la página de kaggle para que la gente sepa de donde lo puede descargar
• Las librerias, las has puesto lo cual está genial, pero si ya me pones los links a la documentación oficial queda perfecto!

Estructura del repo

• Suuper esa carpeta de data donde almacenas todos los .csv resultado del proceso de limpieza

• También super bien el .gitignore, no se te ha pasado ningún archivo "rarinchi" 💪

• Como detalle, de la misma forma que hiciste con la carpeta de data lo puedes hacer con los notebooks. Create una carpeta que se llame notebooks y metelos todos ahí

Muy bien esta parte del proyecto, aunque no lo parezca por que ahora tenemos pocos ficheros en nuestro repo esta parte es importante de cara al futuro cuando nuestros repos vayan teniendo más carpetas y archivos. Buen trabajo 😉

Sintaxis de código

• JUPYTER DE LIMPIEZA

  • Como detalle, cuando quieres ver el número de nulos que tienes en tus columnas lo haces con el método isnull lo cual está perfecto, pero esto te devuelve el dataframe con una tabla de booleanos lo cual puede ser un poco doloroso. Recuerda que puedes acompañar este método con sum y te devolverá el número de nulos por columna

  df.isnull().sum()

  • En cuanto a la documentación de las funciones, super que lo hicieras 😉. Peeeero (ya sabes que siempre hay un pero 😔), como todo en python hay una serie de convenciones para hacerlos. ¿Qué es lo que tiene que tener un docstring?
  • Qué es lo que hace la función
  • Qué argumentos recibe
  • Qué es lo que devuelve

  Aquí algo de info sobre los docstrings .

  Esto lo tines hecho en algunas funciones si y en otras no, intenta mantenerte consistente a lo largo del proyecto

  • Vamos con las funciones de limpieza de las columnas de species y de actividades. Como las tienes estan top top 🔝, peero... sabes que lo podríamos haber sacado con diccionarios.

  ¿Cómo lo podriamos haber hecho? Te dejo por aquí un ejemplo para hacerlo con la columna de especies

  def clean_species(x):
    diccionario = {
    'reef':  re.findall(r"[R|r]ee\w+",str(x))
    'white' :  re.findall(r"[W|w]hit\w+",str(x))
    'wobbegong': re.findall(r"[W|w]obbegon\w+",str(x))
    'tawney': re.findall(r"[T|t]awne\w+",str(x))
    'blacktip': re.findall(r"[B|b]lackti\w+",str(x))
    'bull': re.findall(r"[B|b]ul\w+",str(x))
    'tiger': re.findall(r"[T|t]ige\w+",str(x))
    'bronze_whale': re.findall(r"[B|b]ronz\w+",str(x))
    'mako': re.findall(r"[M|m]ak\w+",str(x))
    'grey_nurse': re.findall(r"[G|g]re\w+",str(x))
    }
  
    # despues lo que hacemos es interar por el diccionario 
    for k,v in diccionario.items():
        # si encuentra un value en el diccionario me devuelves la key del diccionario
        if v == True:
            return k
        else:
            # si no me devuelves "other species" 
            return "other species"
  
      # de esta forma nos evitamos hacer un for loop con muchas condiciones

  • Has ido creando diferentes datasets en función de tu hipótesis, lo cual me parece que esta perfect. Solo como detalle, si bien este proceso esta bien, hay ciertas acciones que las haces de forma continua en todas las hipótesis, por ejemplo, eliminar columnas. Para evitar que esto lo repitas todo el rato:

  • Sobre el dataset original elimina esas columnas y a partir de ahí empieza a trabajar en la limpieza para cada una de tus hipótesis.

  • En la columna de Fatal Y/N a parte de los valores nulos teníamos otros valores "rarinchis" por ahí que nos podian complicar un poco la vida, básicamente eran valores con espacios antes o después de las letras o valores como lli. En este caso podrías usar un replace para quitarlos por los valores correctos

  • Otro detallin, las librerias que usemos todas importadas al inicio del jupyter.

• JUPYTER DE VISUALIZACIÓN

Vamos con las gráficas, el general el jupyter esta bien, aún así te dejo por aquói unos tips por si te aportan valor:

• Cuando vas a hacer la visualización de la hipótesis 2 en la columna de Fatal Y/N la limpieza no quedó del todo muy fina y eso te llevo a que en la gráfica tuvieras dos tipos de unknown (UNKNOWN y Unknown)
• Como hablamos el otro día, hay gráficas que no se terminan de ver del todo bien porque los datos están muy desbalanceados. Hablamos de algunas soluciones, te las dejo por aquí:
  • Partir el eje de las y para cambiar un poco la escala de la gráfia
  • Hacerlo en varias gráficas separadas.
  • Tambié puedes hacer el tamaño de las gráficas un poco más grande para que se vea mejor.

TODOs

Te dejo por aquí un poco de recap de toda la corrección

• El readme, las librerias y algo mas de ingo sobre la indo que tenemos en nuestro dataset
• El repo, podemos crearnos nuevas carpetas para tenerlo todo más ordenado
• Lanzarnos con los diccionarios
• Darle una vuelta a las gráficas para que sean un poco más legibles.

En general muy buen trabajo en este primer proyecto Luke 💪! Has sobrevivido al primer proyecto y lo has hecho genial!! En este proyecto hemos interiorizado como trabajar con pandas y cual es el principal proceso de limpieza de un dataset.