[Koalas - Unifions les Data Scientists et les Data Engineers] Rémy Olivet

[remy-lab]

Le speaker

Rémy Olivet, Data Engineer chez Ippon Technologies

• Twitter handle:

Sujet de votre conférence

Koalas - Unifions les Data Scientists et les Data Engineers

Description de votre conférence

Présentation du projet open source Koalas de chez Databricks. Le projet est un moyen d'unifier les Data Scientists et les Data Engineers en implémentant les API Pandas sur Apache Spark. Bonne ou mauvaise idée ? Ou en est le projet et quel avenir a-t-il ? Je vous donne mon avis.

Informations diverses

• Thématique, Labels : Data, Big Data, Pandas, Spark, Koalas
• Niveau de difficulté (débutant|avancé|confirmé) : débutant
• Durée (quickie 15-30min, conférence >1h) : quickie
• Format (slides, live-coding, les deux): slide (peut être un peu de démo live mais pas sûr)
• Dispo ou indispo (après mars, dès que possible, pas entre X et Y): dès que possible
• Lien du projet : https://databricks.com/blog/2019/04/24/koalas-easy-transition-from-pandas-to-apache-spark.html
• Github : https://github.com/databricks/koalas

[vfdev-5]

@remy-lab merci pour le cfp, très intéressant ! Peux-tu également mettre le lien sur ce projet Koalas stp ?

[remy-lab]

@remy-lab merci pour le cfp, très intéressant ! Peux-tu également mettre le lien sur ce projet Koalas stp ?

C'est fait. Je l'ai ajouté au niveau informations diverses.

[fchouteau]

Bonjour @remy-lab,

Merci pour ce CFP très intéressant,

Nous avons vu qu'il est proposé en tant que "quickie". Serais-tu disposé à l'étendre (par exemple en incluant une présentation de spark en première partie) pour le faire rentrer dans un format data-talk (1h + questions) ?

Merci d'avance :)

L'équipe TDS

[remy-lab]

Bonjour @fchouteau,

Oui, c'est un format envisageable ! L'outil en lui même ne demande pas 1 heure de présentation mais si on le voit comme un vrai talk d'1h je pourrais y inclure une présentation un peu plus poussée de Spark, quelques mots sur Pandas pour la transition (je pense que peu de DS ne sont pas coutumier de Pandas) et la présentation de Koalas pour finir. Il me faudra un peu plus de temps pour préparer la présentation que prévu mais je suis très intéressé par le format.

Rémy

[fchouteau]

Bonjour @remy-lab,

Merci pour cette proposition !

Peux-tu nous communiquer ton adresse e-mail ou nous envoyer un e-mail à contact at tlse-data-science dot fr afin de poursuivre les discussions ?

Merci d'avance,

:)

[remy-lab]

Bonjour @fchouteau ,

Normalement vous devriez avoir reçu un mail depuis ma boîte pro.

Bonne soirée. Rémy

[vfdev-5]

Closed as already done