Exploration des données

[KyllianBeguin]

❓ Contexte

Nous avons à disposition un jeu de données issue d'un export de la base d'origine avec retravail par MerTerre.
Avant de commencer à développer notre tableau de bord, nous devons comprendre comment sont nos données brutes. Cela nous permettra de dresser un ensemble d'étapes de nettoyage de ces données pour les travailler sereinement.

🧐 Objectifs

1. Comprendre les données
2. Dresser un ensemble d'analyse qualité des données
3. Proposer un nettoyage des données

💪 ToDo

• [ ] Initier un notebook d'exploration des données brutes
• [ ] Lancer des analyses basiques des données (valeurs absentes, typage)
• [ ] Formaliser les étapes de nettoyage du jeu de données

[Vincentdata]

Ajout d'un notebook au nom de Vincent MARTIN contenant un debut d'exploration pour mieux comprendre les données de la base de données zds avec quelques visualisations, un fichier GeoJSON (pour faire les cartes des départements et régions) a également été ajouté dans un dossier data contenant les classeurs de structure et les données nettoyées et augmentées de variables collectivités

[KyllianBeguin]

Salut @Vincentdata 👋, je viens de regarder ton Notebook. Est-ce que tu peux être plus précis sur l'objectif de chaque visualisation pour comprendre pourquoi tu les réalise ? Même si c'est du sandbox, ça reste pertinent de le mettre. Est-ce que tu as des pistes quant au nettoyage des données ?

Edit 18/03/2024 : L'objectif d'une dataviz d'exploration étant assez logique, je vous propose de mettre ici leurs titres. En gros, qu'avez-vous fait comme dataviz ?

[Vincentdata]

• Explication succinte des variables du dataset (1301 colonnes) Generation d'un fichier txt df.info() : enriched_df_info.txt
• Evenements : Nombre de comptages totaux Nombre de comptages par an (barplot)
• Structures : Nombre de structures enregistrées, Nombre de structures actives
• Collectivités : Nombre d'evenements et structures actives par régions, départements et communes tableaux et cartes choroplèthes
• Volumes totaux Distribution (boxplot) Barplot et waffle chart par types de materiaux barplot volumes totaux mensuels Barplot moyennes mensuelles Barplot et cartes chloropethes volumes totaux recoltés par regions et departements Barplot volumes totaux recoltés par bassins de vie
• Types milieux/lieus Liste et denombrements des types milieux et types lieux Barplots volumes totaux par types milieux et types lieux

[Vincentdata]

Je viens d'ajouter à la suite de mon notebook d'exploration (renommé avec suffixe onglet_DATA), le début d'exploration (en cours) pour l'onglet data avec:

• un paragraphe pour chaque sous onglet (qui contiendra pour chaque sous onglet : creation du dataframe de travail, nommage des filtres à appliquer, calculs des metrics et generation des figures (avec plotly) qui seront utilisées dans le dashboard)
• une cellule avec le code pour application Dash test pour faire des essais dans le notebook avant developpement)

[Mendi33]

Je viens de faire un push : Ajout d'un notebook à mon nom contenant le nettoyage du fichier export_events_14032024 (lié à la discussion sur 2-nettoyage et augmentation des données). Contient aussi des tests pour les dashboard de l'onglet Action. Ajout du fichier export_events_14032024.xlsx dans le répertoire Data. Ajout du fichier export_events_cleaned.csv dans le répertoire Data.

[Vincentdata]

Ajout d'un fichier "dict_dechet_groupe_materiau.csv" dans /data qui contient un dictionnaire avec les noms de dechets de groupe et leur correspondance materiau nom formaté pour la charte de couleur de matériau. dans le notebook

[KyllianBeguin]

Cette issue n'est plus nécessaire, je la cloture :)