push Keras demo to repo

[lgmoyano]

@tatipar, me gustaría correr el demo de Keras que conecta ya con los datos de CTU-13, para mirarlo un poco.

Podrías por favor ponerlo en esta repo en el lugar que te parezca mejor? Supongo que code/python/keras-demo o algó así. Los datos de entrada entiendo que pesan demasiado para ponerlos en el repo. No sé si los estás tratando de alguna manera de antemano. En ese caso comentame cómo para ver si lo puedo hacer andar en mi máquina.

Gracias!

[tatipar]

Hola @lgmoyano

Recién subo el demo, perdón por la demora!!

Respecto a los datos, en este ejemplito en particular le paso cuatro archivos:

• 2 con los grafos en formato ncol (tomar como referencia los scripts de bash 001,002,003 y el 002 de python).
• 2 con las features que extrajimos de esos grafos (tomar como referencia el script 004 de bash y python para calcular ID,OD,IDW,ODW; y el 008 de bash y R para agregarle la etiqueta correspondiente a cada nodo).

Más observaciones:

1. La etiqueta que ponemos con el script 008, diferencia "botnet", "normal", "background" para distinguir lo que tenemos seguridad que es botnet y normal, de acuerdo a lo que dice CTU. Sin embargo, para comparar con BotChase (y en particular en el demo), todo lo que figura como background hay que tomarlo como "normal", así que la función para etiquetar se podría simplificar.
2. En la branch tati-gnn, en el archivo code/bash/prueba_demo está explicado al principio lo que tuve que hacer para poder poner a andar el demo.
3. El demo está en la branch tati-gnn, en code/python/keras_demo.
4. Si querés, comprimo los datos de entrada y te los mando por mail, avisame.

[lgmoyano]

Genial @tatipar mil gracias :)

Según entendí, los scripts de bash leen los datos crudos de /rawdata/ctu-13/ y se van generando los datos de entrada (grafos, features, etc.). Entendí bien?

Si es así, cuánto pesa /rawdata/ctu-13/ zippeado?

[tatipar]

Hola @lgmoyano

Claro, hay que hacerle un preprocesamiento a los datos crudos. De todos modos, el @harpomaxx me recordó que habíamos decidido tomar los pkts como pesos, y en lo que yo te indiqué lo que se toman son los bytes.

Hay que hacer algo similar, para quedarse con el dato de los pkts, pero para eso primero hay que descargar los archivos "binetflow.2format" de cada captura en https://www.stratosphereips.org/datasets-ctu13

Para que no pierdas tiempo, te paso directamente los archivos ya procesados, cortesía del Harpo:

• Archivos .ncol, que tienen la info del grafo (cada fila es nodo origen nodo destino peso = pkts): https://www.dropbox.com/sh/3ve35j3tom0iljm/AAAVK0RzBft09APjZSCE7u4_a?dl=1
• Archivos .csv, que tienen las features de cada nodo y las etiquetas correspondientes: https://www.dropbox.com/s/37krtn695g3vbf1/captures-labeled-10-10-2022.zip?dl=1 De esto, sólo nos interesa para la GCN la info relativa al grado, así que las columnas importantes serían node,ID,OD,IDW,ODW,label.

Yo no tengo el código del preprocesamiento con pkts, para seguirlo deberías mirar harpo-branch-pkts

[lgmoyano]

Genial, gracias a ambos, después les cuento cómo me fue :)