IIC2440 / Syllabus-2023-1

22 stars 2 forks source link

duda con spark #9

Open v1toco opened 1 year ago

v1toco commented 1 year ago

holaa, es necesario usar el spark.sparkContext para hacer la abstraccion de datos y todo, porque encontré (creo) que otra forma de hacerlo donde directamente uso el spark para leer los archivos y generar las tablas (sparl.read.csv...) entonces no estoy seguro si eso esta considerado dentro de las restricciones del enunciado

alanezz commented 1 year ago

Hola, en la tarea se menciona que solo se permiten usar las funciones asociadas a los RDD, que son las que están acá porque la idea es que aprendas a trabajar con Map - Reduce y funciones similares. Si encontraste otra forma de generar los RDDs está ok, pero es importante que trabajes con esa estructura y con las funciones asociadas. Por lo mismo, yo no intentaría "hackear" la tarea, y mantenerme cerca de lo que vimos en clases.

v1toco commented 1 year ago

oka, muchas gracias profe