Clustering non supervisé de l'activité des stations

[armgilles]

Idées :

ML

• Clustering de type DBSCAN
• Quelques idées Medium
• Papier de use-case en industrie CNN & RNN
• Outlier detection Scikit
• papier sur détection anomalie pour la qualité de l'eau
• papier sur Isolation Forest en stream de data

Features reduction :

• Peut etre mieux que le PCA -> MDS
• [Autres méthode Scikit](https://scikit-learn.org/stable/auto_examples/manifold/plot_compare_methods.html#sphx-glr-(auto-examples-manifold-plot-compare-methods-py)
• Manifold learning
• Par distance non normalisé

Process :

• Ne pas prendre en compte certaines périodes particulières (Cf Covid).
• Faire attention à ce que le cumul de temps sans prise de Vcub ne soit pas dû à 0 Vcub dispo.

Iso forest :

• Mettre un taux de contamination suivant un le type de stations. Doit-on modifier ce taux de contamination suivant le profile de la station ou l'on estime que toutes les stations sont sur le même potentiel d'être HS ?

[armgilles]

Le learning du ML ne doit pas prendre en compte la station lorsque celle-ci est HS (status = 0).

[armgilles]

Certaines stations ont vraiment peu d'activité (peu de prise de vélo) :

• Modifier le profile des stations #28 afin de créer des catégories supplémentaires.
• Adapter par la suite :

  PROFILE_STATION_RULE = {'high' : 36,   # 6 heures
                      'medium' : 54, # 9 heures
                      'low' : 66,    # 11 heures
                     }

  qui permet de trouver la contamination (#23 ) de la station suivant son profile

[armgilles]

How to :

from vcub_keeper.config import *
from vcub_keeper.reader.reader import *
from vcub_keeper.reader.reader_utils import filter_periode
from vcub_keeper.visualisation import *
from vcub_keeper.transform.features_factory import *
from vcub_keeper.ml.cluster import train_cluster_station, predict_anomalies_station
from vcub_keeper.ml.cluster_utils import load_model, export_model

# Lecture du fichier activité
ts_activity = read_time_serie_activity()

# Some features
ts_activity = get_transactions_in(ts_activity)
ts_activity = get_transactions_out(ts_activity)
ts_activity = get_transactions_all(ts_activity)
ts_activity = get_consecutive_no_transactions_out(ts_activity)

# Set an ID station
station_id = 109

For cluster learning by station :

clf = train_cluster_station(ts_activity, station_id=station_id)

# Export model
export_model(clf, station_id=station_id)

To predict anomalies :

clf = load_model(station_id=station_id)
station_pred = predict_anomalies_station(data=ts_activity, clf=clf, station_id=station_id)
# New column `anomaly ` : 1 is OK, -1 is an anomaly

[armgilles]

Utilisation de Méta model par-dessus l'algo de détection d'anomalie (Isolation Forest) : https://scikit-lego.netlify.app/meta.html#OutlierClassifier