AlexGonRo / Instance-Selection-Algorithms-Spark

GNU General Public License v3.0
1 stars 1 forks source link

Ejecución del proyecto en la nube #29

Closed AlexGonRo closed 7 years ago

AlexGonRo commented 8 years ago

Originally reported by: Alejandro González Rogel (Bitbucket: agr00095, GitHub: Unknown)


Se va a preparar el proyecto para poder ser ejecutado en los servicios de Google Cloud Dataproc. La idea de dicha ejecución es la de comprobar el correcto funcionamiento de la aplicación en un cluster real, así como realizar mediciones sobre el tiempo de ejecución. Para la ejecución del proyecto en estos servicios vamos a necesitar compilar el proyecto con la versión Scala 2.10, no funciona correctamente con Scala 2.11.

Así mismo, los recursos que ofrece Google Cloud Dataproc están limitados a 8 procesadores para el periodo de prueba, por lo que contaremos con un "driver" de 2 procesadores y tres "workers" de 2 procesadores cada uno. La memoria RAM de cada nodo es 8GB, aunque es posible que en ningún momento lleguemos a necesitarla entera.


AlexGonRo commented 8 years ago

Original comment by Alejandro González Rogel (Bitbucket: agr00095, GitHub: Unknown):


La ejecución del proyecto en el cluster de la universidad ha sido suspendida, por lo que se considera este issue cerrado y finalizado.

AlexGonRo commented 8 years ago

Original comment by Alejandro González Rogel (Bitbucket: agr00095, GitHub: Unknown):


Sobre el commit 60542fc

Se ha modificado el código para poder ser ejecutado en la nube. Los cambios han sido:

Dicho esto, se ha probado que el proyecto funciona en:

AlexGonRo commented 8 years ago

Original comment by Alejandro González Rogel (Bitbucket: agr00095, GitHub: Unknown):


Vuelvo a abrir esta tarea antes de lo que pensaba.

Ayer, Álvar propuso ver si el proyecto funcionaba en un grupo de máquinas que comparte la UBU con otra universidad y voy a realizar un par de modificaciones en este sentido.

En cualquier caso, las mediciones de cualquier ejecución en la nube siguen suspendidas hasta que no tenga los resultados locales.

AlexGonRo commented 8 years ago

Original comment by Alejandro González Rogel (Bitbucket: agr00095, GitHub: Unknown):


Hasta contar con unas mediciones locales fiables, esta tarea queda suspendida.