AlexGonRo
commented
9 years ago Original comment by Alejandro González Rogel (Bitbucket: agr00095, GitHub: Unknown):
En realidad HIGGS no tenía intención de ejecutarlo completo, sino una parte del mismo. Pensé que la idea era intentar forzar un poco a Weka, por eso he buscado un archivo pesado y no muy complicado.
Sin embargo, ejecutar HIGGS entero creo que tampoco tendría mucho sentido, no solo porque es probable que los algoritmos no puedan con ello, sino también porque no creo que se vea muy bien cómo es la evolución del rendimiento pasando de un millón de instancias con atributos integer a once millones con más atributos y de tipo double.
Todavía no he probado Weka o Spark con grandes conjuntos de instancias, así que el tamaño de los conjuntos también dependerá de cuales vayan siendo los resultados.
Ya tenía anotados algunos otros datasets del tamaño que mencionaste. Para intentar mantener los máximos campos posibles numéricos y no tener excesivos atributos por instancias podría proponer estos:
Para 100.000 instancias http://groupware.les.inf.puc-rio.br/har#dataset
Para 500.000 instancias https://archive.ics.uci.edu/ml/datasets/Covertype (El que has propusto tú)
EDITADO: Se ha eliminado el conjunto para 250.000 instancias. Debido a su pequeño número de atributos no era muy buen material para trabajar sobre él
Originally reported by: Alejandro González Rogel (Bitbucket: agr00095, GitHub: Unknown)
Se quieren encontrar diferentes conjuntos de datos para probar y medir con ellos el rendimiento de los entornos Weka y Spark.
Las instancias de los conjuntos, a ser posible, podrán ser únicamente de dos clases, para asi poder ser más fácil encontrar algoritmos de aprendizaje que estén ya programados tanto en Spark como en Weka.
Los conjuntos a utilizar han de ser de diferentes tamaños, para poder así observar el rendimiento en función de la cantidad de instancias procesadas.
El formato en el que se encuentre el conjunto de datos ha de estudiarse para poder seleccionar uno que acepten tanto Weka como Spark.