Devolución organidata

[Victoriapm]

Hola Franco,

¡Felicitaciones por tu trabajo! Como lo hablamos en la presentación, tu trabajo quedó muy completo y la presentación logró cubrir muchas de las preguntas de las que nos fuimos haciendo los espectadores. Me alegra saber que hayas disfrutado el curso y el desarrollo del proyecto Además de las observaciones que hablamos el día de la presentación, te dejo algunas observaciones y puntos de mejora para el repositorio:

Estructura del proyecto

• El README está impecable, super completo. Un pequeño detalle es el link que tendrías que escribirlo de la siguiente manera para que funcione como hipervínculo: [de origen](https://www.indec.gob.ar/indec/web/Institucional-Indec-BasesDeDatos, además podrías agregar uno o dos gráficos de los que armaste en la sección de conclusiones para que sea más llamativo.
• Estructura del repositorio: si bien son pocos los archivos que requiere el análisis, es fácil de encontrar cada archivo que podamos querer encontrar. Otro detalle, es que la carpeta con los checkpoints podrías agregarla al gitignore ya que no son archivos relevantes para el repositorio, son solo de utilidad cuando estas trabajando localmente para guardar tu progreso.
• En el caso que quieras guardar algunas imágenes de los gráficos, para por ejemplo usarlas en el readme, es una buena practica crear una carpeta para guardarlas aparte, como con el dataset en la carpeta data.
• Te recomiendo que utilices .gitignore para evitar compartir los checkpoints que no aportan a la consulta del análisis, veo que lo hiciste para la mayoría pero quedó el de la ultima notebook que hiciste.
• En el caso del nombre del repositorio, podes cambiarlo desde github.com. La primer opción dentro del menú settings te va a permitir renombrarlo.
• Estructura de la notebook principal: En general la notebook me parece fácil de seguir, las secciones están bien definidas y documentadas, lo que me da contexto suficiente para entender el tema del análisis, el objetivo y los pasos sin tener que prestar tanto detalle al código. Me gustan mucho los detalles como los hipervínculos, puntos de mejora y referencias.

Carga de datos

• Un detalle mínimo, pero acá utilizas dos variables (archivo y path) para el mismo valor. Podrías simplificar y hacer el código más eficiente utilizando solo una tanto para la impresión del path como la importación de los datos.

Exploración de datos

• Como habíamos hablado ya previamente, el dataset es dentro de todo chico y bastante limpio por lo que la exploración de datos cubre fácilmente la mayor parte de los aspectos. Le podrías agregar más funciones explorando los datos específicos dentro de cada columna. Por ejemplo, un ´df.describe()´ te daría un vistazo sobre la valuación, tu única columna que es numérica, o la distribución de las fechas con un ´df.Valuation_date.value_counts()´ que hubiera servido para identificar que el dataset cubría más de un año.
• Otro tema a explorar, y luego limpiar, es el tema de las industrias que está también dentro de las preguntas. En este caso, lamentablemente tendría que ser bastante manual pero podría servir o darte una idea averiguar el origen del dataset para entender la lógica detrás:
  • El primer tema es que hay valores nan, son tan solo 17 de los cuales la mayoría tienen valuación mucho menor que la valuación promedio. En este caso, lo más fácil seria directamente descártalos, otra opción seria asignarle la industria manualmente y por último, podrías considerar sólo buscar y asignar manualmente la industria a aquellas empresas cuya valuación es realmente significante.
  • El segundo es aquellas categorías que son similares, al no haber un patrón claro es difícil automatizarlo. La única ayuda que se me ocurre para facilitar la detección es ordenar los valores alfabéticamente ya que los que son similares suelen empezar de manera similar, entonces seria más fácil reconocerlos. Podrias usar ´df.Industry.sort_values().unique()´ y podrías identificar categorías como ´'Finance', 'Financial Technology', 'Financial services', 'Fintech'´.
  • Una vez identificadas las industrias a agrupar podes hacer un replace: ´df.replace(to_replace='Fintech', value= 'Financial services', regex=True, inplace =True)´

Limpieza de datos

• Seria conveniente que los nombres de columnas los renombres para que sean minúscula, eso te facilitaría la escritura del código al no tener que siempre alternar entre mayúsculas y minúsculas. Ya que renombras varias columnas lo podes hacer ahí directamente, o podrías hacerlo más automático ´df_copy.columns= df_copy.columns.str.lower()´
• Otro detalle mínimo es que el renombrar las columnas, al utilizar un diccionario, podes hacerlo en una misma operación para todas las columnas a renombrar: ´clean_df= clean_df.rename(columns={"Industry":"Industry_Field", 'Valuation' : 'Valuation_Billions'})´
• Luego de renombrar las columnas, haces una asignación de la misma columna en si misma que no deberia ser necesario: ´clean_df['Valuation_Billions'] = clean_df['Valuation_Billions']´
• En la celda en la que haces la separación de la fecha en dos columnas, podrías simplificar la asignación apuntando a las dos columnas donde quieres asignar los valores separados. La desventaja de usarlo de esta manera, es que si por algún motivo el campo tiene datos que contienen más de uno de los caracteres separadores va a dar error por tener menos columnas a asignar que las columnas que genera el split. clean_df[['Mes_valuacion1','Anio_valuacion1']] = clean_df['Valuation_date'].str.split('-', expand = True)

Presentación de datos

• Porcentaje de Startups por país: En este caso el group by, al ser por el mismo campo que además queres gráficar, seria más simple hacer un value_counts, de hecho te simplificaría el renombre de las columnas y pasarlo a df. basta con hacer: 'industry_country1 = clean_df.Country.value_counts()[:10]' , a su vez, al ser la misma columna que usas para el gráfico de tortas, podes solo indicar y como parámetro. Otra automatización a agregar podria ser la del array para el explode. Una forma es usar numpy para generar un array de tantos elementos como necesites, acá lo hago con len para mostrar una forma mas escalable pero en tu caso seria siempre 10. Luego modifiqué el valor para el primer objeto para que me quede igual que el tuyo. En este caso, sabemos que el índice 0 va a corresponder al primer elemento del top 10, por ende siempre el elemento a destacar pero se podría incluso generar el código para que detecte y destaque el valor máximo. Al final el código me queda:
• 'Cantidad de startups por país: con el mismo value_counts de arriba podemos utilizar este mismo código. El único punto de mejora es que para fontdict utilizas 3 veces el mismo valor, que incluso se usa en otros gráficos, esto se podría definir inicialmente en una variable y utilizarla en todos los gráficos.
• Valuación y cantidad total de las Startups por país: En este caso, esta perfecto haber hecho el merge pero al ser un merge de dos df ya limitados se pierden algunos paises. La alternativa seria haber hecho el merge antes de limitar a los top 10 paises en cada catgeoria o hacer un df con dos agrupaciones. Aca le di prioridad a los paises de mas cantidad de startups: Una vez que ya tenia el df utilicé casi tu mismo código solo que sin el stacked. Me parece que de esta forma muestra mejor la comparación entre ambos. El problema era que USA tenia realmente muchas mas stratups, por lo que el gráfico quedaba poco claro. En estos casos a veces se puede utilizar la escala logaritmica y quedaria algo asi:
• Para los demás gráficos las observaciones son similares a las marcadas arriba, en muchos casos se podria hacer directamente con un value_counts la agregación o incluso, al ser siempre la base los paises, se podria hacer un único df de agregaciones y filtrar y graficar las columnas acorde.
• Respecto a utilizar una función, podes pasar el código tal como lo tenes a una función definiendo tres o 4 parametros dependiendo la flexibilidad que quieras. Los parametros serian: dataframe, campo/s a agrupar, campo/s a filtrar y tipo de agregación. Algunos ejemplos:

• Por último, quedaban dos posibles gráficos a agregar:

  1. La distribución de las empresas por industrias utilizando squarify (podría ser también otros similares basados en treemap, creo que habíamos hablado de bubblemap antes). En este caso necesitamos una nueva librería que podemos instalar ejecutando en una celda !conda install -c conda-forge squarify. El código por empezar deberia ser algo asi: ´´´ import squarify

     sq_size = industry_type.Industry_Field.to_list() labels = industry_type['index'].to_list()

     plt.rc('font', size=7) squarify.plot(sizes=sq_size, label=labels,alpha=0.3)

     plt.axis('off')

     plt.show() ´´´ El grafico te queda asi, pero podrias mejorarlo jugando con los colores, tamaños, etiquetas, etc.

  Te dejo un link que explica muy bien alternativas para utilizar esta librería y uno a su repositorio original.

2. El mapa, si podes conseguir o cargar manualmente las coordenadas de cada pais, podes hacer un merge con el dataframe en el pais y luego utilizar eso para graficarlo. Podes agruparlo o no dependiendo como quieras que quede el grafico. Al utilizar una única coordenada para todas las entradas por pais, quizas lo mejor va a ser mostrar marcadores, donde el mapa indicaría solo aquellos paises que tienen startups y etiquetas con la cantidad o, aun mejor, utilizar colores para definir buckets de cantidad o valuación total de startups en el pais. Como para graficar el mapa vas a necesitar un mapa de fondo y ademas manejo de coordenadas, vas a necesitar una libreria adicional, como geopandas. Esta libreria incluye tambien algunos datasets con coordenadas, que podrias utilizar como tus datos de entrada. Acá link a uno de los tutoriales de la documentación oficial que me parece que mas se adapta a tu caso de uso. Acá link a una pregunta en stackoverflow que te va a servir para utilizar los datasets de geopandas y poder graficarlo. (fijate una de las ultimas respuestas que utiliza el dataset naturalearth_lowres)

Espero que estas observaciones te resulten de utilidad. Cualquier consulta sobre esta revisión o adicionales sobre el análisis no dudes en consultarme. Me parece que tu análisis en general está muy completo, como discutimos durante la presentación y estás muy bien encaminada en el caso de que quieras continuarlo.

Saludos! Victoria

[Franblar]

¡Muchas gracias Victoria!

Todos los puntos planteados como pendientes fueron respondidos y me será de gran utilidad para corregir y mejorar el trabajo.

Ahora a seguir mejorando y a aplicar estos conceptos en futuros análisis. Muchas gracias por la buena onda y los conocimientos transmitidos en el curso.

Saludos.