PIPELINE-SENTIMENT_ANALYSIS - Création du pipeline

[horty21]

Objectif

Créer un pipeline qui prend en entrée la collection de données brutes et qui les charge dans une autre collection de la BDD tout en faisant l'analyse de sentiment.

Ce que je propose

• Un script python
• Utiliser la librairie Afinn

[KyllianBeguin]

Je te setup la connexion à la collection de données brutes Attends mon go pour avancer sur le pipeline

[KyllianBeguin]

@horty21 J'ai ajouté une fonction pour récolter les données brutes depuis la collection RawDataCollection 🟢 Tu as le feu vert pour avancer !

• Avance sur le traitement des données avec Afinn
• Pour stocker les données dans mongo, regarde comment j'ai fait dans le pipeline d'extraction (à partir de la ligne 39). La collection à utiliser est ProcessedTweetsCollection

Have fun 🚀

ET PENSES BIEN À FAIRE git pull AVANT DE TRAVAILLER !

[horty21]

• git pull réalisé
• Lancement du fichier pipeline-sentiment_analysis.py
• Problème rencontré : erreur du type "[Errno -3] Temporary failure in name resolution"

[KyllianBeguin]

• Problème rencontré : erreur du type "[Errno -3] Temporary failure in name resolution"

Problème réglé : Conflit d'endpoint.

Si l'on utilise pas Docker, l'endpoint doit être dirigé vers le localhost, et non le service Docker mongo.
🔴 NB : rétablir l'endpoint pour la conteneurisation du pipeline

[horty21]

• Mise à jour de la fonction d'analyse de sentiments (fonctionne bien avec la liste de tweets venant de la BDD)
• Ajout de la fonction d'export des tweets analysés dans la BDD (A tester plus tard)

[KyllianBeguin]

Ajout de la fonction d'export des tweets analysés dans la BDD (A tester plus tard)

Tu veux que je m'ocupe de l'export dans la BDD @horty21 ?

[horty21]

Ajout de la fonction d'export des tweets analysés dans la BDD (A tester plus tard)

Tu veux que je m'ocupe de l'export dans la BDD @horty21 ?

Je viens de push le fichier.py avec la fonction de l'export, je veux bien que tu jettes un oeil pour voir si ça fonctionne bien

[KyllianBeguin]

Bien joué @horty21 🔥

Ça fonctionne :)

Je push et rétablis l'endpoint de l'hôte vers le service mongo du réseau Docker.

[KyllianBeguin]

Ce qu'il reste à faire sur le pipeline :

• Planifier le pipeline à un lancement tout les jours. Il ne doit pas être en concurrence avec le pipeline d'extraction
• Ajouter un mécanisme de nettoyage de la collection RawDataCollection après le chargement des données dans ProcessedDataCollection