Replace pyspark by memory efficient pandas wrapper ?

[billmetangmo]

• https://vaex.io/docs/index.html
• https://github.com/modin-project/modin
• https://github.com/pola-rs/polars/

[billmetangmo]

Pour faire la comparaison entre pyspark et les autres solutions. Faire un benchmark en utilisant soit %time comme dans la page github modin ou https://fastero.readthedocs.io/ & https://github.com/bloomberg/memray. Les captures d'écran devront être jointes pour finaliser la tâche.

[billmetangmo]

Apache spark is 10 times faster than the previous option

[billmetangmo]

Polar.rs is 83 times faster than pandas