Convierte tus notebooks de Jupyter en código mantenible con Kedro

[astrojuanlu]

Convierte tus notebooks de Jupyter en código mantenible con Kedro

Tipus de la proposta:

• [ ] Vull proposar un tema interessant
• [x] Vull fer una xerrada

Los notebooks de Jupyter son excelentes para exploración, visualización, y en definitiva: la “ciencia” en “ciencia de datos”. Pero cuando los notebooks empiezan a crecer en complejidad, surgen problemas - y además, colaborar sobre ellos no es fácil. ¿No sería genial que existiese una solución?

Los notebooks han sido fundamentales para el surgimiento de la ciencia de datos como campo, ya que brindan una interfaz fácil de usar, ofrecen un feedback rápido, y constituyen tanto un entorno de desarrollo como un formato de intercambio. Sin embargo, también se reconoce ampliamente que a menudo plantean problemas de reproducibilidad y mantenibilidad: el 90 % de los notebooks de Jupyter publicados no indican explícitamente las dependencias de los paquetes (Wang et al, 2021), y el 96 % de ellos contener errores o estado oculto que impidió obtener los mismos resultados después de volver a ejecutar (Pimentel et al, 2019).

Se han propuesto varias herramientas y enfoques para mitigar los problemas de los notebooks para datos de producción. ciencia. En este taller, los autores proponen un flujo de trabajo que consiste en la refactorización iterativa de notebooks de Jupyter: mediante la extracción incremental de referencias de datos y lógica de negocio en módulos reutilizables de Python, los participantes serán capaces de explotar las capacidades dinámicas de los notebooks manteniendo su complejidad bajo control. Estos módulos de Python harán uso de Kedro, un framework Python para crear tuberías de datos reproducibles, mantenibles y modulares.

El contenido es el siguiente:

⬥ Introducción ⬥ ¿Qué es Kedro? ⬥ Usando Kedro desde Jupyter ⬥ Creando tu catálogo de datos ⬥ Convirtiendo tu notebook en una biblioteca Python reutilizable ⬥ Creando tus primeras tuberías de Kedro ⬥ Visualizando tu flujo de datos con Kedro Viz

Duració estimada: 30 minutos (versión súper rápida), 1 hora (versión live coding), 2 horas (versión tutorial)

TAGS: jupyter, kedro, polars

[ecarreras]

Genial! 🙌🏻

[XaviTorello]

Super interesante, gracias @astrojuanlu :beers:

[jbagot]

Esta charla se hizo el año pasado. 13 de junio. Cierro la issue.