Explore PRIMAP-hist data

[S-AI-F]

les données PRIMAP-hist: https://github.com/OpenGeoScales/ogs-data-exploration/tree/main/data/ghg-emissions/primap-hist

L'objectif de l'exploration des différentes sources de données d'émissions consiste à mieux connaitre la structure et le contenu des différentes sources afin de sélectionner celles qui sont les plus pertinentes et les plus complètes, les référencer dans le datacatalog et anticiper les traitements nécessaires à appliquer sur les données pour les intégrer dans la base finale.

Parmi les informations à extraire lors de l'exploration, on peut citer:

• la liste de champs et leurs définitions
• la couverture spatiale des émissions: la liste des entités spatiales (pays, villes), leur nombre, les attributs correspondants (codes, noms...), identifier comment on peut les joindre à un référentiel géographique
• la couverture temporelle des émissions: le nombre d'années, plot de la série temporelle, vérification de la complétude
• les valeurs d'émissions: analyse descriptive des émissions (min, max...), analyse des émissions par gaz, unités
• les secteurs: si les données présentent un découpage d'émission par secteur, il faut lister les secteurs utilisés, faire des plots par secteur pour identifier ceux qui présentent le plus d'émissions

Ceci n'est pas la liste exhaustive des analyses à faire. Essayer d'extraire le plus d'informations possibles sur les données que vous avez choisi!

IMPORTANT:

• remplir la doc des données dans le readme de chaque dossier data associé (exemple pour les données de l'ademe: https://github.com/OpenGeoScales/ogs-data-exploration/tree/main/data/ghg-emissions/ademe)
• remplir le fichier json du datacatalog dans chaque dossier datacatalog associé (exemple pour les données de l'ademe: https://github.com/OpenGeoScales/ogs-data-exploration/blob/main/data-catalog/ghg-emissions/ademe/ademe-data-description.json)
• mettre votre notebook dans le bon endroit (exemple pour les données de l'ademe: https://github.com/OpenGeoScales/ogs-data-exploration/blob/main/notebooks/ghg-emissions/ademe/ademe-beges-data-exploration.ipynb)

[sebastienbourgeois]

Hello @S-AI-F, J'ai complété le README sur la data. Je pull request les modifs plus tard dans la journée. Est-ce que je peux supprimer le tableau initial décrivant le dataset ?

[sebastienbourgeois]

J'ai également complété le data-catalog, voici mes remarques à ce propos :

• je pense qu'il y a un problème dans la structure de mon fichier, je pense que c'est lié aux différentes sources de données que j'ai (nom du champ : DataSource), est-ce que quelqu'un pourrait y jeter un œil ?
• valides-tu les champs Resolution.SpatialResolution, Gases.Included, Sectors.Included ?
• je n'ai pas d'info sur les scopes dans mon dataset, le champ doit-il apparaître tout de même dans le data-catalog ?
• j'ai besoin de faire plus de recherches pour pouvoir remplir les champs Protocol et EstimationMethod

[S-AI-F]

Hello @sebastienbourgeois

• Readme: Top pour le Readme, Tu peux supprimer le tableau initial
• DataCatalog Data source: Puisque tu as plusieurs datasources tu peux les mettre dans une liste comme ça "DataSource": [ { "DataSourceName": "Global CO2 emissions from cement production v4 (Andrew 2019)", "DataSourceLink": "https://zenodo.org/record/3380081", "DataSourceOrganism": "CICERO Center for International Climate Research", "DataSourceDesc": "NA", "DataFormat": "xlsx", "DataAccess": "download" }, { "DataSourceName": "BP Statistical Review of World Energy", "DataSourceLink": "https://www.bp.com/en/global/corporate/energy-economics/statistical-review-of-world-energy.html", "DataSourceOrganism": "British Petroleum", "DataSourceDesc": "NA", "DataFormat": "xlsx", "DataAccess": "download" } ]
• DataCatalog - resolution: Pour le moment on n'a pas développé un validateur des champs. Mais n'hésites pas à mettre les valeurs qui te semblent les plus appropriées. On reviendra sur la strandardisation du data catalog une fois on a fini le mapping.
• DataCatalog Scopes: Si tu n'as pas de scopes, tu n'as pas à ajouter el champs dans le json.
• DataCatalog Protocol/Estimation method: Ne bloque pas sur cette partie maintenant. Essaie de créer une issue sur github qui mentionne qu'il y a besoin de faire plus de recherches pour alimenter ces deux champs et on reviendra dessus une prochaine fois. Si tu ne sais pas créer l'issue, préviens moi pour qu'on le fasse ensemble quand tu veux!

N'hésites pas si tuas d'autres questions! Et merci pour ton taf!!!