Pour l'instant notre Spark d'entrée ne fait qu'écrire les données récupérées de Kafka dans Cassandra. Il serait intéressant de récupérer les dernières données en base pour calculer une température fiable (par exemple, la moyenne des températures données par les différentes sources). Quand on a cette température fiable (i.e. un triplet (location, date, temperature)), on la publie dans un topic Kafka.
Vayel
commented
6 years ago
Pour l'instant notre Spark d'entrée ne fait qu'écrire les données récupérées de Kafka dans Cassandra. Il serait intéressant de récupérer les dernières données en base pour calculer une température fiable (par exemple, la moyenne des températures données par les différentes sources). Quand on a cette température fiable (i.e. un triplet
(location, date, temperature)), on la publie dans un topic Kafka.