❔ A propos
Ce repository s'inscrit dans le cadre d'un projet conjoint OPT-NC et l'UNC.
- Le sujet est fourni par l'OPT-NC
- La réalisation est assurée par les étudiants avec en support l'OPT
ℹ️ Contexte OPT
L'OPT utilise Kafka pour partager et transformer un volume toujours plus important entre ses métiers. Nous souhaitons maintenant nous attaquer à diverses manières de consommer ces données à moindre effort... puis de les valoriser via des solutions dédiées à la chose.
Les résultats de cette expérimentation seront recyclés de manière opérationelle, tant sur les méthodes utilisées que sur les analyses de données produites.
🤹🏻 Compétences
- Data Engineering
- Data Scientist
🧑🤝🧑 Equipe
- 🧑🤝🧑 Antoine GINDRE (aka.
@AntoineArthurG): développeur - 🧑🤝🧑 Kenneth WINCHESTER (aka.
@Kenneth-OPT) : développeur - 👨🎨 Adrien SALES : Product Owner, Architecte
- 👩 Michèle Barré : Senior DEVOPS & Full Stack Dev
🎯 Pitch
Via des outils existants et industriels, configurer une intégration idéalement basée sur de la configuration de données qui :
- Via Apache Camel Consomme les donées de l'API des temps d'attente en agence
- Via une route Camel, pousser les données du Poll dans un
csv - Via un Poll régulier depuis Camel, pousser les données dans un topic dédié Kafka
- Via Camel, consommer les messages et les pousser dans une instance OpenSearch
- Construire un ou des tableaux de bord, utiliser les fonctionnalités de géolocalisation, et explorer les fonctionnalités IA et ML d'OpenSearch
- **BONUS*** : Via Camel, consommer les messages Kafka et les pousser dans une instance Apache Spark
- Investiguer les capacités de Open Search Data Prepper 2.0
🗺️ Architecture
Un draft macro de l'architecture cible envisagée :
ℹ️ NB
- Les interactions avec Camel passeront idéalement par JBang!
- Une démo KillerCoda sera livrée et intégrée aux cours de l'OPT-NC... et pourra servir de support lors des démos, voire lors de la soutenance
- Les images Docker ou docker-compose seront utilisées pour dépoyer Kafka, OpenSearch, Spark, ...