Project issues

[maluyckx]

• Parsing :
• [x] Ajouter le 'ServFail' dans le parsing de dns query type
• [x] Ajouter le parsing des FLAGS pour webclients
• Features :
• [X] selon thomas, regarder le nombre de sites visités par les hosts + moyenne pour le rapport => DONE : voir get_number_of_requests_in_a_session
• [x] Checker le temps de sessions de utilisateurs/bots pour comparer => c-a-d entre la première query d'un host et la dernière query d'un host, il s'est passé combien de temps
• [x] Bonnes features brutes :
  • [x] la taille des requetes et des responses (le dernier paramètre à la fin)
  • [x] le nombre de réponses qu'on recoit (le petit X/Y/Z) et en plus ca peut aider dans le parsing
• [x] Features après parsing (il faut faire l'aggrégations des données d'abord) :
  • [x] Temps d'une session
  • [x] Number of unique domain requests by a host
  • [x] Number of requests by a host
  • [x] Checker le nombre de '.' dans les domaines qui sont query par les bots et par les humans
• [x] Retravailler l'aggregation des données
  • [x] Prendre la difference des timstamps entre chaque requests/responses d'un host -> donc agréger les données en fonction des hosts et non en fonction du request ID seulement.
  • [x] Assemble features to be used for ML
• ML :
• [x] Déterminer avec certitude si on fait du supervised ou du unsupervised machine learning => ON FAIT DU SUPERVISED LEARNING
• [x] Maybe voir si KNN est pas mal
• [x] pour identifier les meilleures features, on pourrait faire du PCA ?
• Report :
• [x] Logistic regression avec => à droite, human, à gauche bot et les valeurs proche du milieu bot+human
• [x] #2
• [x] report : faire la section raw features and aggregation features une fois qu'on a toutes les features dont on a besoin
• [x] Déterminer quels 'types' de diagrammes sont les meilleurs pour nos données : ROC-curve ? Recall ? BDR ? Accuracy ? Precision ? F1-score ?
• [x] Faire les diagrammes
• Misc :
• [X] Relire les cours de ML de l'année passée
• [x] Maybe find a new and better name for "counts" in the code
• [x] In features.py, in function get_timing_of_all_queries, check the big ATTENTION
• [x] Faire de la doc pour chaque function des scripts
• [x] Faire un README propre
• [x] refaire les print pour qu'ils soient beaux

[bayoub03]

• [x] dans readme, y a une info qui est répété dans la sectionc "Commands" : can be replaced by decision_tree, logistic_regression, neural_networks or random_forest.

• [x] la commande "python3 train_IDS.py \ --webclients ../training_datasets/tcpdumps/webclients_tcpdump.txt \ --bots ../training_datasets/tcpdumps/bots_tcpdump.txt \ --algo logistic_regression \ --output ../trained_models/logistic_regression/trained_model_logistic_regression.pkl" marche seulement après avoir cd dans script

• [x] fix les constants de PATH_TO_BOTLISTS dans la fonction read_botlists

• [x] fix path suspicious hosts

• [ X] Si pas d'autre solution pour type of requests/response, maybe faire des combinaisons de toutes les types possibles et ensuite faire un mapping de ça (https://chat.openai.com/share/1156821d-e240-427c-b293-185a983ace85) => autre solution trouvé !

• TODO LIST

  • [x] Fix the issues with the 2 features that are lists
  • [x] Make the diagrams functions for the algos AND for the report (we should probably read a lot of doc about accuracy, etc, see top)