🐼🦈 Proyecto sharks 🐼🦈

Hola Maria Luisa 🙋🏻‍♀️ vamos con las correcciones del primer proyecto del bootcamp

README

En general el readme esta suuper bien, aún así te dejo por aquí unos tips para el futuro por si te aportan valor:

Empiezas el readme con una introducción sobre el proyecto. Hablas del dataset y pones el link a la página de kaggle para que la gente lo pueda descargar, lo cual esta perfecto. ¿Qué es lo que me faltó?
- Qué me contaras un poco más de que va el dataset
- Qué información me voy a encontrar dentro del dataset?
- etc
Sobre el flujo de trabajo que has seguido en el proyecto (Methods), que me faltó?
- Un poco más de descripción de los métodos usado
- Cuenta que has usado funciones que se pueden encontrar en la carpeta src, que has usado métodos específicos bla bla bla. Un poco más de desarrollo en esta parte
Sobre las librerias, si pones el link a la documentación oficial queda perfecto!

Estructura del repo

Vamos con la estructura del repo!

Lo primerito de todo! Menudo susto me llevé cuando no vi ningún jupyter a primera vista!

La carpeta src es unicamente para los archivos .py donde tendremos las funciones que usaremos en nuestro jupyter. Por lo tanto:
- Saca de esa carpeta los jupyters y lo que puedes haces es crearte una carpeta única para los notebooks.
- Lo mismo para las imagenes, sacalas del .py y puedes crear una carpeta para las imagenes.
Como detalle, aunque no podiamos subir el fichero original de kaggle, si que podiamos subir los csv resultado de nuestra limpieza.

Sintaxis de código

JUPYTER LIMPIEZA

Como detalle, los docstrings de las funciones van dentro de la función. Es decir:
```
def mifuncion():
'''
DOCSTRINGS AQUI
'''
return "Hola"
```
Los imports siempre al inicio del jupyter, es una pijadita, pero es pura convención.
Cuando quieres comparar o conocer la correlación entre las columnas de nuestro dataframe Create a function to detect percentage of similitud among 2 columns

Que hayas creado todo ese código esta genial. De cara al futuro aprenderemos que tenemos métodos específicos para hacer esto de una forma más sencilla. Es usando el método

# Si no he entendido mal esto es lo que quieres hacer: 
df.corr()

Te dejo por aquí documentación sobre este método por si te aporta valor.

Cuando haces esto 👇🏽

sharks_attacks3['case_number']= sharks_attacks3['case_number'].str.replace(',', '.')

# lo haces para tres columnas, pero imagina que lo tuvieras que hacer para 20, sería muy tedioso. Lo mejor en este caso es hacerlo con un for loop 

lst = ['case_number', 'case_number.1', 'case_number.2'] # nos creamos una lista con el nombre de las columnas que queremos cambiar

# por último hacemos un bucle:
for i in lst:
   sharks_attacks3[i]= sharks_attacks3[i].str.replace(',', '.')

# y lo mismo para la columna TIME, SEX, AGE

-El regex que usaste para la columan de case_number, creo que se complico un poco más de normal

# como nosotros queremos solo las fechas las cuales siguen el mismo patroón siempre podemos buscar ese patrón. En este caso

patron = r'\d{4}\.\d{2}\.\d{2}'

# busca por todos los strings solo aquellos que tengas 4 digitos seguidos de un punto, dos dígitos again y un punto y por último otros dos digitos.

Para la columna de Age, una cosa interesante que se podría haber hecho era reemplazar los nulos por la media de edad de todo el dataset. O por la moda
Vamos con la limpieza de la columna de especies.

# Tu tienes esto repetido tantas veces como especies quieres limpiar
# Tiger Shark
sharks_attacks6["species"] = sharks_attacks6["species"].str.replace(".*?[T|t]iger.*\w?", "Tiger Shark")
# Bull Shark
sharks_attacks6["species"] = sharks_attacks6["species"].str.replace(".*?[B|b]ull.*\w?", "Bull Shark")

# Cuando tenemos tanto código repetido múltiples veces es señal de que... TENEMOS QUE HACER UNA FUNCIÓN

# En este caso, la mejor opción sería hacerlo con un diccionario, te dejo por aquí unas lineas de código por si te aportara valor

```python
    def species2 (col):
        diccionario = {
        "white" : re.search(r".*[Ww](hite|HITE).*", str(col)),
        "tiger" : re.search(r'.*[Tt].*', str(col)), 
        "bull" : re.search(r'.*[Bb](ull).*', str(col)), 
        "lemon" : re.search(r'.*[Ll].*', str(col)),
        "grey" : re.search (r'reef | \.*reef\.*', str(y))
        # y así para todas las especies que queramos

        } 

        # despues lo que hacemos es interar por el diccionario 
        for k,v in diccionario.items():
            # si encuentra un value en el diccionario me devuelves la key del diccionario
            if v == True:
                return k
            else:
                # si no me devuelves "other species" 
                return "other species"

🔴 y lo mismo para la columna de activity

JUPYTER DE VISUALIZACIÓN

En esta parte solo tengo que hacerte un pequeño comentario:
- Al inicio del jupyter tienes unas lienas de código que repites múltiples veces para cambiar el tipo de la columna. Como te dije un poco más arriba, esto lo podrías hacer con un for loop reduciendo así la repetitividad del código

TODOs

Te dejo por aquí un pequeño recap de la revisión:

Sacar los archivos de la carpeta src
Cambiar las cosinas del readme que te comente
Atommizar partes del código para evitar estructuras altamente repetidas.
Lanzarse con los diccionarios!

Bueno Maria Luisa, Suuuper buen trabajo 💪🔥, te has limpiado casi todas las columnas, increible!!! Has sobrevivido al primer proyecto y lo has hecho genial!! En este proyecto hemos interiorizado como trabajar con pandas y cual es el principal proceso de limpieza de un dataset.

Ironhack-Data-Madrid-Agosto-2021 / w2-pandas-project

[baby-shark-tutu-ruruturu] Maria Luisa #6

🐼🦈 Proyecto sharks 🐼🦈

README

Estructura del repo

Sintaxis de código

TODOs