search

incubateur-ademe / bilansclimatsimplifies

MIT License
1 stars 1 forks source link

Lister l'ensemble des sources d'émission #6

Closed florianpanchout closed 2 years ago

florianpanchout commented 3 years ago

Avec les unités de chacune et les facteurs d'émissions associés.

Dans l'idée on souhaiterait ensuite les intégrer dans un fichier markdown ou json afin d'être éditables et accessibles facilement. Ça t'irait @martinregner ?

florianpanchout commented 3 years ago

@martinregner Ces calculs doivent ils être en lecture seule ? Ou est ce que l'utilisateur doit pouvoir éditer le résultat du calcul ?

martinregner commented 3 years ago

En lecture seule. Si tu le rends éditable il devient possible de modifier les résultats de la méthode "officielle" (FE x données métier)

florianpanchout commented 3 years ago

Ça marche !

@hfroot : Est ce que ça te semble cohérent que ça soit géré coté backend ? A chaque POST / PUT sur /emissions l'api ferait le calcul et mettrais à jour le champ resultat. Ce champs serait en lecture seule, je ne pourrais pas le modifier. Juste le récuperer en GET.

Dans l'ideal tous ces FE (facteurs d'émissions) seraient stockés dans un json / markdown accessible facilement dans le repo GIT.

Si ça te va je met à jour #5 en fonction

Clem-mrtn commented 3 years ago

A demander à Fanny @martinregner pour récupérer une sorte de classification

martinregner commented 3 years ago

Base Carbone V20.2_Extrait BCS.xlsx Ci-joint l’export de la Base Carbone®, restreinte aux lignes qui nous concernent :

PI : pour les combustibles organiques comme le biodiesel, certains FE n’ont pas de poste « Combustion » car à 0 (alors que pour d’autres FE, on a bien créé un poste « Combustion » qu’on a rentré à 0… les aléas des évolutions de traitement au fil des ans !). D'où l'ajout de lignes sans ID de FE pour rajouter les combustibles en question de manière à ce qu’on les affiche quand même dans la liste des FE disponibles, avec une valeur à 0 par défaut.

Pour la classification dans les menus déroulants :

Poste 1

  1. Premier bloc des plus utilisés : Fioul domestique, fioul lourd, Gaz naturel mix moyen, granule bois, plaquettes forestières
  2. Reprendre la classification de la BC (cf. colonne "Code de la catégorie")

Poste 2

  1. Routier, avec si possible une sous-classification pour distinguer les typologies de véhicules
  2. Autre mode de transport
florianpanchout commented 3 years ago

C'est normal que la période de validité soit Décembre 2017 pour la moitié des FE ?

martinregner commented 2 years ago

Sur ce type de données, cela doit très peu bouger. C'est des données un peu anciennes certes, mais le carburant émet toujours globalement la même chose d'année en année...

hfroot commented 2 years ago

@martinregner j'ai construit une première version de la liste des FEs en JSON : https://github.com/datagir/bilansclimatsimplifies-backend/blob/calculs/data/static/emission-factors.json

Quelques questions :

  1. C'est quoi le plus clair : d'avoir les unités comme "kgCO2e/kg": "3.07", (par ex) comme maintenant, ou simplement d'avoir "kg": "3.07", ?
  2. Est-ce qu'il y a un façon de déterminer le poste d'une émission dans le tableur ? (a part consulter le PDF avec les détailles de ce projet)
  3. Quel query est-ce que tu as utilisé pour générer le fichier excel dans ce commentaire ?
  4. Il y a quelques FEs qui changent selon la localisation, par exemple Fioul. Comment est-ce qu'on veut gérer cette situation ?
  5. Pourquoi est-ce que tu as prévu d'avoir besoin de changer les FEs utilisés dans ce projet soi-même, est-ce que le base carbone ne sera pas le source des FEs toujours ?
hfroot commented 2 years ago

@florianpanchout Les changements avec les vrai calculs sont maintenant dispo. À noter :

martinregner commented 2 years ago

j'ai construit une première version de la liste des FEs en JSON : https://github.com/datagir/bilansclimatsimplifies-backend/blob/calculs/data/static/emission-factors.json

Top !

Sur tes questions @hfroot :

  1. Le plus clair est de garder "kgCO2e/kg": "3.07" ; il faut juste s'assurer que c'est bon aussi pour @florianpanchout en front : il demandera juste l'unité, ici que"kg"
  2. Je ne suis pas sûr de comprendre ta question. Tu veux dire est-ce que les utilisateurs pourront visualiser le FE pour chaque données ? Si c'est ça idéalement oui, avec une pop in (à voir ok côté front)
  3. C'est directement Fanny qui a fait l'export ;) Tu as un besoin particulier ?
  4. Bien vu ! (je n'avais pas fait attention) C'est simplement métropole / DOM non ? Peut-on gérer ça à partir des infos que l'on récupère initialement sur l'entreprise ? (voire si besoin avec API entreprise sur le SIRET ?)
  5. En effet, ce sera toujours la Base Carbone. Les FE peuvent être mis à jour de temps en temps dans la base. A priori ici c'est des FE très stable dans le temps, mais cela peut arriver. La connexion en API à la Base Carbone pas possible à ce stade.
hfroot commented 2 years ago

Merci pour les réponses :)

  1. J'ai voulu demander si il y a une façon de classifier un type d'emission dans le fichier excel dans poste 1 ou poste 2 ?
  2. J'ai écrit un script qui fait un appel vers l'API base carbone (gif attaché pour clarifier quel API j’entende). C'est pour ça que je demande comment t'as fait le query, parce que c'était plus facile à travailler avec l'API qu'un fichier excel, et peut-être plus utile dans l'avenir si on veut rafraîchir les FEs du base carbone. Je pense au moment que j'ai un appel API proche du query utilisé pour l'excel, mais pas exacte. base-carbone-api
  3. Les options de localisation visible dans le capteur d'écran attaché (à part la France continentale et Europe). Je sais pas si on doit donner l'utilisateur l'option de choisir la localisation par source d'émission, parce que on peut faire des activités hors du pays où l'entreprise est basée ? Sinon, oui, on peut faire qqch avec l'API entreprise pour automatiser la localisation des sources.

Screenshot 2021-11-17 at 12 37 16

martinregner commented 2 years ago
  1. Ah oui, bonne question 🤔 Dans le fichier je crois pas. Il y a ça dans la trame de Fanny, à savoir :

    Poste 1

    o Pneumatiques usagés non réutilisables - Mix combustible moyen o Agglomérés de houille o Anthracite o Briquette de lignite o Charbon à coke o Charbon à vapeur o Charbon sous-bitumineux o Houille o Lignite o Tourbe o Coke de houille o Coke de lignite o Coke de pétrole o Fioul domestique o Fioul lourd o Combustible Haute Viscosité (CHV) o Fioul à base de carbone recyclé – Valortec o Autres produits pétroliers o Naphta o Huiles de schistes o Bitumes o Pétrole Brut o Gaz naturel – mix moyen o Gaz naturel, type H o Gaz naturel, type B o Gaz d’acierie o Gaz de haut fourneau o Gaz de cokerie o Butane o Propane o Bois buche o Granulés de bois o Paille o Plaquettes forestières o Sciures et chutes de scierie o Broyats de cagettes et de palettes o Biodiesel, sans CAS o Bioéthanol, sans CAS o Biométhane injecté sur le réseau, mix moyen o Biopropane, mix moyen 2020

Poste 2

Routier :

o Essence - Supercarburant sans plomb (95, 95-E10, 98) o Gazole routier o Gazole routier B7 o Gazole routier B10 o Gazole routier B30 o Gazole routier B100 o Essence E10 o Essence E85 o GPL o GNL o GNC o Biodiesel, sans CAS o Bioéthanol, sans CAS o BioGNC pour véhicule routier

Non routier :

o HFO o LFO o MDO o Carburéacteur jet B o Essence aviation (AvGas) o Kérosène jet A ou A1 o Gazole non routier

  1. A priori cela a demandé un retravail des données, comme je le mettais dans mon commentaire associé à l'Excel (car il faut exclure certaines parties du FE pour respecter le poste 1 et 2 seulement)

  2. [Edit du 18/11] Retour de Fanny :

Difficile de faire une localisation pré-remplie car effectivement, l’entreprise va renseigner son SIREN (et non son SIRET) et donc aura potentiellement plusieurs sites dans des localités différentes. Donc peut-être proposer le filtre a posteriori, quand l’entreprise démarre son calcul ?

Il faudrait demander la localisation pour les FEs concernés...

hfroot commented 2 years ago

Ok, j'ai ajouté l'option dans le script pour lire un fichier plutôt que l'API, et j'ai ajouté infos sur la localisation et poste dans le JSON générer. C'est pas encore en staging pour en discuter plus.

Le nouveau fichier peut-être va ressembler ça : https://github.com/datagir/bilansclimatsimplifies-backend/blob/ef-locations/data/static/emission-factors.json (avec pas mal de differences des facteurs que l'API, je peux les donner si c'est intéressant)

Les émissions suivantes sont dans le fichier excel, mais pas dans la liste de ton commentaire, est-ce que tu peux clarifier ce qu'on veut faire avec eux ?

BioGNC -Biométhane comprimé, Pour véhicule routier,
BioGNL, Carburant,
Articulé,
Autobus,
Avion cargo,
Avion passagers,
Bateau automoteur,
Camion porteur, 45 m3,
Cargo,
Cargo inter-îles,
Cyclomoteur,
Fourgon,
Gazier,
Hoverboard,
Métro,
Moto =< 250 cm3,
Moto > 250 cm3,
Navette fluviale,
Navette inter-îles,
Pétrolier,
Porte-conteneur,
Rigide,
Ro-Pax,
Ro-Ro,
Taxi brousse,
Train,
Tramway,
Trotinnette, électrique,
Utilitaire <3,5t,
Vélo, à assistance électrique,
Voiture, Motorisation E85,
Voiture, Motorisation essence,
Voiture, Motorisation gazole,
Voiture, Motorisation GNV,
Voiture, Motorisation GPL,
Voiture E85,
Voiture essence,
Voiture gazole,
Voiture GNV,
Voiture GPL,
Voiture particulière,
Vraquier,
VUL

En plus, il y a des types d'émission qui ont seulement des facteurs pour France continentale, qu'est-ce qu'on veut faire dans ce cas si cette émission a été utilisée dans un autre région ?

florianpanchout commented 2 years ago

@hfroot Est ce que tu peux ajouter dans le json un attribut pour spécifier quels types d'émissions sont à mettre en avant ?

Rappel de https://github.com/datagir/bilansclimatsimplifies/issues/6#issuecomment-965517574 :

Poste 1

  1. Premier bloc des plus utilisés : Fioul domestique, fioul lourd, Gaz naturel mix moyen, granule bois, plaquettes forestières
  2. Reprendre la classification de la BC (cf. colonne "Code de la catégorie")

Poste 2

  1. Routier, avec si possible une sous-classification pour distinguer les typologies de véhicules
  2. Autre mode de transport
hfroot commented 2 years ago

@florianpanchout merci pour le rappel de ça - oui, j'imagine c'est possible mais j'ai pas totalement compris ce que je dois ajouter. Qu'est-ce que tu penses d'un catégorie au même niveau de poste dans le json ? Dans cet attribut, pour poste 1, je peux mettre le valeur de "Code de la catégorie" (par ex Combustibles > Fossiles > Liquides > Usage source fixe). J'avoue je sais pas du tout quoi à ajouter pour celles dans poste 2...

hfroot commented 2 years ago

@martinregner comme on a discuté, j'ai créé cette liste de questions :

Est-ce qu’on veut inclure ces types d’emission dans la liste des options ? https://github.com/datagir/bilansclimatsimplifies/issues/6#issuecomment-975366581

Lignes 86-89 et 91 ont la localisation “Europe” - est-ce qu’on veut les inclure ?

Lignes 296-311 ont un type poste vide (plutôt que ‘Combustion’) - est-ce qu’on veut les inclure ?

Il y a des infos dans des colonnes I et L en plus sur le type d’emission qui ne changent pas toujours le FE, par exemple pour “bois bûche (20% d’humidité)” ou “Charbon à coke (PCS supérieur à 23865 kJ/kg)”. Est-ce que c’est utile pour l’utilisateur a les voir quand même ?

Est-ce que tu sais ce que ça veut dire “Nom attribut français” et “Nom frontière français” (colonnes I et L) ?

Il y a des types d'émission qui ont seulement des facteurs pour France continentale, qu'est-ce qu'on veut faire dans ce cas si cette émission a été utilisée dans un autre région ?

martinregner commented 2 years ago

@hfroot voici les retours de Fanny :

Est-ce qu’on veut inclure ces types d’emission dans la liste des options ? #6 (comment)

Poste 1

Poste 2 Routier :

Non routier :

A retirer : Hoverboards

Lignes 86-89 et 91 ont la localisation “Europe” - est-ce qu’on veut les inclure ?

C’est un oubli de sa part de les supprimer car ils ont leur pendant « France », donc à supprimer.

Lignes 296-311 ont un type poste vide (plutôt que ‘Combustion’) - est-ce qu’on veut les inclure ?

Oui on les garde. Il s’agit de bio-combustibles donc leur phase de combustion est à zéro, Fanny les a rajouté à la main en oubliant de compléter le nom du poste.

Il y a des infos dans des colonnes I et L en plus sur le type d’emission qui ne changent pas toujours le FE, par exemple pour “bois bûche (20% d’humidité)” ou “Charbon à coke (PCS supérieur à 23865 kJ/kg)”. Est-ce que c’est utile pour l’utilisateur a les voir quand même ?

Lorsque cela n’apporte pas précision supplémentaire qui permettrait de choisir entre plusieurs FE, rester au plus court, ex. ici : "bois bûche" et "charbon à coke".

Est-ce que tu sais ce que ça veut dire “Nom attribut français” et “Nom frontière français” (colonnes I et L) ?

Il n’y a malheureusement pas de règle métier stricte… En fait, cela s’est rempli au gré des mises à jour, selon la nature des FE, sans forcément suivre la même logique. Grosso modo, on joue sur ces 3 colonnes (F, I et L) pour spécifier l’intitulé du FE, car à l’affichage en ligne, le nom du FE est la concaténation des 3 colonnes. Pour certains, remplir seulement deux colonnes suffit, pour d’autres, il faut être plus précis. Il vaut mieux garder les années, car il ne faut pas oublier que cette plateforme va rester en ligne plusieurs années, et que « normalement » les entreprises sont censées venir publier un BCS tous les 3 ans.

Il y a des types d'émission qui ont seulement des facteurs pour France continentale, qu'est-ce qu'on veut faire dans ce cas si cette émission a été utilisée dans un autre région ?

Quand il y a un FE Outre-Mer qui existe, le donner en priorité (si l’entreprise est en Outre-Mer) mais sinon, le FE France continentale reste le FE par défaut (même pour un Outre-Mer, car on n’a pas mieux).

Quel niveaux de précisions (chiffres après la virgule) : o Pour le total des postes : arrondi à l’unité (pas de chiffres derrière la virgule), en tCO2e (c’est ce qui est fait côté Bilans GES) o Pour chaque étape de calcul (conservé en base) : 1 chiffre après la virgule

hfroot commented 2 years ago

@martinregner : Pour "BioGNC -Biométhane comprimé" et "BioGNL" il y a des doublons. BioGNC: lignes 160-164 (qui ont des facteurs > 0); lignes 306-310 (qui ont des facteurs = 0) BioGNL: ligne 165 (FE > 0), et ligne 311 (FE = 0) Pour l'instant je prends les premières lignes qui ont des FE > 0

Dans https://github.com/datagir/bilansclimatsimplifies/issues/6#issuecomment-971761457, Biodiesel et Bioéthanol sont dans postes 1 et 2 - comment ça marche ? Est-ce que c'est le même FE mais les utilisateurs peuvent les ajouter dans n'importe poste ?

Il n'y a pas des lignes pour "Carburéacteur jet B" dans l'extrait donné.

martinregner commented 2 years ago

base-carbone(r)-Carburéacteur jet B.xlsx

hfroot commented 2 years ago

CR discussion avec Martin:

On continue de prendre les lignes BioGNC et BioGNL avec FE > 0

Biodiesel et Bioéthanol peuvent vraiment être dans n'importe poste.

J'ai ajouté les données dans l'extrait https://github.com/datagir/bilansclimatsimplifies/issues/6#issuecomment-996629099 au reste d'extrait.

florianpanchout commented 2 years ago

Il reste des choses à faire dans cette issue ?

Clem-mrtn commented 2 years ago

Peut-on fermer ce ticker @hfroot ? :)

hfroot commented 2 years ago

Oui, si jamais il y a des autres points, on peut créer des nouveaux issus.