search

saagie / technologies-community

Community repository for technologies
Apache License 2.0
2 stars 4 forks source link

Issue #59 - Spark in client mode #96

Closed tquiviger closed 2 years ago

tquiviger commented 2 years ago

Resolves #95

AugustinPeyridieux commented 2 years ago

Est-ce qu'on laisse Spark 3.0 connaissant le bug avec kubernetes ? (https://issues.apache.org/jira/browse/SPARK-33349)

tquiviger commented 2 years ago

Est-ce qu'on laisse Spark 3.0 connaissant le bug avec kubernetes ? (https://issues.apache.org/jira/browse/SPARK-33349)

Pas nécessairement non @AugustinPeyridieux , personne de l'utilise actuellement? Au pire ils migreront vers la 3.2 ça ne devrait pas poser de soucis

AugustinPeyridieux commented 2 years ago

Est-ce qu'on laisse Spark 3.0 connaissant le bug avec kubernetes ? (https://issues.apache.org/jira/browse/SPARK-33349)

Pas nécessairement non @AugustinPeyridieux , personne de l'utilise actuellement? Au pire ils migreront vers la 3.2 ça ne devrait pas poser de soucis

Je pense que seul Vallourec l'utilisait @tquiviger, mais ils ne l'utilisent plus depuis que la version 3.2 est dispo.

AugustinPeyridieux commented 2 years ago

Est-ce qu'on mettrait pas une ligne de commande plus complète? Du style:

spark-submit --py-files={file} --conf spark.cores.max=2 --conf spark.executor.cores=2 --conf spark.executor.instances=3 --conf spark.executor.memory=2g --conf spark.driver.memory=4g --name app-name local://__main__.py

ou a minima: spark-submit --py-files={file} --name app-name local://__main__.py

Parce que de ce que j'ai compris, le "name" et la partie "local://" sont nécessaires pour que ça marche bien.

Sinon pour le reste tout est bon pour moi :)