quarree100 / q100_abm_TREND

ABM which aims to connect and process the complexity of techno-economic and socio-technical processes - Case: Neighborhood of Ruesdorfer Kamp, Heide, Schleswig-Holstein, Germany. Project QUARREE100.
https://quarree100.de/
2 stars 1 forks source link

Model Validation #76

Open dunland opened 2 years ago

dunland commented 2 years ago

future experiments

dunland commented 2 years ago

Validierungsexperiment vom 22.07.

dunland commented 2 years ago

Experiment 03.09.2022 - Workshop-Modell

( duration 203786ms )

<Experiment_plan>
  <Simulation experiment="agent_decision_making" sourcePath="/home/dunland/github/qScope/q100_abm_qscope-workshop/q100/models/qscope_ABM.gaml" finalStep="9496"
seed="1.0"
>
  <Parameters>
    <Parameter name="timestamp" type="STRING" value="20220903_10-29-35" var="timestamp"/>
    <Parameter name="Alpha scenario" type="STRING" value="Static_mean" var="alpha_scenario"/>
    <Parameter name="Carbon price scenario" type="STRING" value="B - Moderate" var="carbon_price_scenario"/>
    <Parameter name="Energy prices scenario" type="STRING" value="Prices_2021" var="energy_price_scenario"/>
    <Parameter name="Q100 OpEx prices scenario" type="STRING" value="12 ct / kWh (static)" var="q100_price_opex_scenario"/>
    <Parameter name="Q100 CapEx prices scenario" type="STRING" value="1 payment" var="q100_price_capex_scenario"/>
    <Parameter name="Q100 Emissions scenario" type="STRING" value="Constant_Zero emissions" var="q100_emissions_scenario"/>
    <Parameter name="Carbon price for households?" type="BOOLEAN" value="false" var="carbon_price_on_off"/>
  </Parameters>
  <Outputs>
    <Output id="0" name="neighborhood" framerate="9495" />
    <Output id="1" name="households_employment_pie" framerate="9495" />
    <Output id="2" name="Charts" framerate="9495" />
    <Output id="3" name="Modernization" framerate="9495" />
    <Output id="4" name="Monthly Emissions" framerate="9495" />
    <Output id="5" name="Emissions cumulative" framerate="9495" />
  </Outputs>
</Simulation>
</Experiment_plan>

Screenshot from 2022-09-03 10-34-08

Screenshot from 2022-09-03 10-45-59

Screenshot from 2022-09-03 11-10-38

mögliche Ursachen

Graphen werden falsch angezeigt

~womöglich falsche Sortierung der Linien... überprüfe csv Daten in den outputs~
→ in csv lässt sich erkennen, dass die Emissionen nach Anschluss WN um Faktor 10 höher sind

Werte reziprok?

Mir kommt es fast so vor, als würden alle Graphen genau das Gegenteil von dem zeigen, was wir erwarten..

andere Ergebnisse in Forschungsmodell?

dunland commented 2 years ago

Experiment 03.09.2022 - Foschungsmodell

( duration 413707ms )

<Experiment_plan>
  <Simulation experiment="agent_decision_making" sourcePath="/home/dunland/github/qScope/q100_abm/q100/models/qscope_ABM.gaml" finalStep="9496"
seed="1.0"
>
  <Parameters>
    <Parameter name="timestamp" type="STRING" value="20220903_13-26-51" var="timestamp"/>
    <Parameter name="Alpha scenario" type="STRING" value="Static_mean" var="alpha_scenario"/>
    <Parameter name="Carbon price scenario" type="STRING" value="B - Moderate" var="carbon_price_scenario"/>
    <Parameter name="Energy prices scenario" type="STRING" value="Prices_2021" var="energy_price_scenario"/>
    <Parameter name="Q100 OpEx prices scenario" type="STRING" value="12 ct / kWh (static)" var="q100_price_opex_scenario"/>
    <Parameter name="Q100 CapEx prices scenario" type="STRING" value="1 payment" var="q100_price_capex_scenario"/>
    <Parameter name="Q100 Emissions scenario" type="STRING" value="Constant_Zero emissions" var="q100_emissions_scenario"/>
    <Parameter name="Carbon price for households?" type="BOOLEAN" value="false" var="carbon_price_on_off"/>
  </Parameters>
  <Outputs>
    <Output id="0" name="neighborhood" framerate="9495" />
    <Output id="1" name="households_employment_pie" framerate="9495" />
    <Output id="2" name="Charts" framerate="9495" />
    <Output id="3" name="Modernization" framerate="9495" />
    <Output id="4" name="Monthly Emissions" framerate="9495" />
    <Output id="5" name="Emissions cumulative" framerate="9495" />
  </Outputs>
</Simulation>
</Experiment_plan>

Runde 1

Screenshot from 2022-09-03 13-38-32

Runde 2

Screenshot from 2022-09-03 13-50-42

Runde 3

image

phiola commented 2 years ago

Problem: Emissionssteigerung durch Anschluss ans WN

phiola commented 2 years ago

Evtl geht hier was mit dem random-seed schief. Muss ich noch weiter schauen.

Trotz gleichem seed (1) scheint die Simulation unterschiedlich zu verlaufen. @dunland Gibt es noch andere Zufallsfaktoren in der Simulation, wenn sie vom qScope gestartet wird?

phiola commented 2 years ago

Steigerung der Energiekosten bei Sanierung könnte an #89 liegen.

lwinkeler commented 2 years ago

Problem: Kostensteigerung bei Anschluss ans WN

Dass die Energiepreise unter denen für das Q100-Netz liegen ist zu Beginn der Simulation nicht unüblich, dennoch sollte es einen Schnittpunkt geben, an welchem das regenerative Konzept die Preise der Fossilen unterbietet. Dies findet derzeit nicht statt und wird daher erneut geprüft.

lwinkeler commented 2 years ago

Problem: Emissionssteigerung durch Anschluss ans WN

Fehler behoben in 0b2c38d312dae736e94354646e5667f9307d1595

dunland commented 2 years ago

Ich habe ein kleines Skript geschrieben, um die Outputs zweier Simulationen miteinander zu vergleichen. Ohne irgendwelche Gebäude auszuwählen, scheint es dennoch - zumindest über den headless mode - Unterschiede in den Emissionen zu geben:

found files:  [['../../data/outputs/output_20220915_10-20-21/energy_prices/energy_prices_total.csv', '../../data/outputs/output_20220915_10-20-21/connections/connections_export.csv', '../../data/outputs/output_20220915_10-20-21/emissions/CO2_emissions_neighborhood.csv', '../../data/outputs/output_20220915_10-20-21/buildings_clusters_20220915_10-20-21.csv'], ['../../data/outputs/output_20220915_10-28-58/energy_prices/energy_prices_total.csv', '../../data/outputs/output_20220915_10-28-58/connections/connections_export.csv', '../../data/outputs/output_20220915_10-28-58/emissions/CO2_emissions_neighborhood.csv', '../../data/outputs/output_20220915_10-28-58/buildings_clusters_20220915_10-28-58.csv']]
########################################################################
comparing ../../data/outputs/output_20220915_10-20-21/energy_prices/energy_prices_total.csv with ../../data/outputs/output_20220915_10-28-58/energy_prices/energy_prices_total.csv: 
both simulations produced the same results!
########################################################################
comparing ../../data/outputs/output_20220915_10-20-21/connections/connections_export.csv with ../../data/outputs/output_20220915_10-28-58/connections/connections_export.csv: 
both simulations produced the same results!
########################################################################
comparing ../../data/outputs/output_20220915_10-20-21/emissions/CO2_emissions_neighborhood.csv with ../../data/outputs/output_20220915_10-28-58/emissions/CO2_emissions_neighborhood.csv: 
    emissions_neighborhood_total               emissions_household_average  ... emissions_neighborhood_accu emissions_household_average_accu              
                            self         other                        self  ...                       other                             self         other
0                   9.175919e+07  9.175960e+07               407818.644298  ...                9.175960e+07                     4.078186e+05  4.078204e+05
1                   9.175919e+07  9.175960e+07               407818.644298  ...                1.835192e+08                     8.156373e+05  8.156409e+05
2                   9.175919e+07  9.175960e+07               407818.644298  ...                2.752788e+08                     1.223456e+06  1.223461e+06
3                   9.175919e+07  9.175960e+07               407818.644298  ...                3.670384e+08                     1.631275e+06  1.631282e+06
4                   9.175919e+07  9.175960e+07               407818.644298  ...                4.587980e+08                     2.039093e+06  2.039102e+06
..                           ...           ...                         ...  ...                         ...                              ...           ...
307                 7.199637e+07  7.199637e+07               319983.863473  ...                2.500131e+10                     1.111167e+08  1.111169e+08
308                 7.199637e+07  7.199637e+07               319983.863473  ...                2.507331e+10                     1.114366e+08  1.114369e+08
309                 7.199637e+07  7.199637e+07               319983.863473  ...                2.514530e+10                     1.117566e+08  1.117569e+08
310                 7.199637e+07  7.199637e+07               319983.863473  ...                2.521730e+10                     1.120766e+08  1.120769e+08
311                 7.199637e+07  7.199637e+07               319983.863473  ...                2.528930e+10                     1.123966e+08  1.123969e+08

[312 rows x 8 columns]
########################################################################
comparing ../../data/outputs/output_20220915_10-20-21/buildings_clusters_20220915_10-20-21.csv with ../../data/outputs/output_20220915_10-28-58/buildings_clusters_20220915_10-28-58.csv: 
both simulations produced the same results!
dunland commented 2 years ago

Ich habe auch nochmal ein Experiment mit 4 ausgewählten Häusern gemacht. Zwischen Runde 1 und 2 habe ich gar keine Änderungen vorgenommen, dennoch fällt zumindest folgendes auf:

Runde 1:

Screenshot from 2022-09-15 12-01-12

Runde 2:

Screenshot from 2022-09-15 12-06-07

lwinkeler commented 2 years ago

Ich habe ein kleines Skript geschrieben...

Schöner Vergleich, Blödes Ergebnis. @dunland kannst du an dieser Stelle nochmal posten, was genau im headless-mode an GAMA übergeben wird? An dieser Stelle nochmal zur Bestätigung: innerhalb von GAMA funktioniert das Ganze wie gewünscht. Der gleiche Seed führt zu exakt gleichen Ergebnissen, während die Simulation mit anderem Seed auch abweichende Ergebnisse bringt.

lwinkeler commented 2 years ago

die Emissionen von Rüsdorfer 40 sind in Runde 1 und 2 sehr unterschiedlich

phiola commented 2 years ago

Update

Bereits bei den generierten Haushalten gibt es Abweichungen, interessanterweise allerdings nicht bei allen Variablen.

Meine Vermutung ist, dass die zufällige Auswahl von n Agenten der Form ask n among x nicht an den Seed gebunden ist. Allerdings erklärt das nicht, warum diese Verhalten nur im Headless-Mode auftritt. Ich versuche das mal zu testen.

dunland commented 2 years ago

die Emissionen von Rüsdorfer 40 sind in Runde 1 und 2 sehr unterschiedlich

* Sehe ich das richtig, dass sich Rüsdorfer Straße 40 aus dem Cluster bildet und die anderen Gebäude nicht?

* Eigentlich hat das Cluster ja nur Einfluss auf die initale Darstellung der Gebäude auf dem Infoscreen, aber nicht auf die Ergebnisse der Simulation - oder? (nur gefragt, damit es nicht vielleicht doch so ist)

* Bei der Rüsdorfer 40 sind als einziges Gebäude neben den Emissionen auch die Energiekosten (Stromkosten) in den zwei Durchläufen unterschiedlich, oder?

Zur Klärung:

lwinkeler commented 2 years ago

Problem: Kostensteigerung bei Anschluss ans WN

Übergangsweise wird die 2018er Preisentwicklung genutzt (siehe scenario_Ref.csv -> energy_price_scenario -> Prices_Project start). Diese ist laut Joris Zimmermann jedoch stark veraltet. Die Methode lässt sich nur schwer auf die aktuelle Situation anwenden. LW & DF arbeiten an einer Entwicklung von Preisentwicklungs-Szenarien, welche anschließend genutzt werden sollen.

dunland commented 2 years ago

Hier die tagesaktuellen Simulationsergebnisse:

Screenshot from 2022-09-28 14-49-24

Screenshot from 2022-09-28 14-51-21

m.E. lässt sich da ein Anschlusszeitpunkt immernoch nicht deutlich erkennen.

phiola commented 2 years ago

m.E. lässt sich da ein Anschlusszeitpunkt immernoch nicht deutlich erkennen.

Da war noch ein Fehler in der Übernahme der Anschlusszeitpunkte aus der interchange_matrix. Sollte mit https://github.com/lwinkeler/q100_abm_qscope-workshop/commit/2fa313a334f4b63fea3effbe2ab91bef7c87ba43 gefixt sein. Schein im GUI auch zu klappen.

dunland commented 2 years ago

angeschlossene Gebäude erzeugen jetzt leider 0-Werte..

dunland commented 2 years ago

seems to work! :tada:

image

image

dunland commented 2 years ago

offene Fragen von PE und mir:

und noch ganz wichtig:

lwinkeler commented 2 years ago

offene Fragen von PE und mir:

lwinkeler commented 2 years ago

was hilft uns zur Darstellung noch?

  • Zeitreihen für Simulation mit Bestand (a.k.a. keine Entscheidungen)
  • wäre das über die erste Aktionskombination Alles auf False, welche oben vorgeschlagen wurde abgedeckt?
  • Verläufe für Zeit vor 2020
  • [x] Definition welche Verläufe genau dargestellt werden sollen; oder sind beispielhafte Verlauf für jeden Graphen wünschenswert?
lwinkeler commented 2 years ago

Verläufe für Zeit vor 2020

Zeitreihe für durchschnittliche Energieausgaben von Haushalten in Deutschland [in € / Monat] von 2000-2020 auf Seafile unter: Seafile/Q-Scope_data/data_pre-simulation/energy-expenses_hh_2000-2020.csv

dunland commented 2 years ago

Erkenntnisse aus der Besprechung der Simulationsergebnisse vom 17.10. (Abschrift von Whiteboard):

nächste Experimente:

dunland commented 2 years ago

:exclamation: bitte beachten! @lwinkeler ich habe anfang der Woche ein größeres Update im frontend gemacht, nach dem die Simulation nun in einem zweiten thread gestartet wird (was zur Folge hat, dass sich das Frontend nicht jedes Mal so lange aufhängt, bis die Simulation durch ist)

dazu musste ich die tatsächliche Ausführung der Simulation von seiner Initialisierung trennen (und eben in nem neuen thread auslagern), weshalb nun zum einstellen/starten der Simulation folgendes getan werden muss:

aus session.simulation.activate(input_max_year=2045) wird nun:

session.simulation.setup(input_max_year=2045)
session.simulation.run()
dunland commented 2 years ago

gerade unterwegs gesehen, kleine Denkaufgabe für @lwinkeler:

keine ausgewählten Gebäude --> geringere Emissionen

Habe hier eine Simulation ohne ausgewählte Gebäude, die niedrigere Emissionsverläufe im Quartier simuliert als in einer Simulation mit 7 ausgewählten Gebäuden und Anschluss = 2027

outputs_connections_emissions_error_20221105


# source data:
df_emissions = "Seafile/Medias_in_Res/q100-qScope/Data/Simulationsergebnisse/20221105_selectedBuildingsHigherEmissions/output_20221105_13-02-44/emissions/CO2_emissions_neighborhood.csv"

df_connections = "Seafile/Medias_in_Res/q100-qScope/Data/Simulationsergebnisse/20221105_selectedBuildingsHigherEmissions/output_20221105_13-02-44/connections/connections_export.csv"

# reference data:
df_emissions_compare = "Seafile/Medias_in_Res/q100-qScope/Data/Simulationsergebnisse/20221105_selectedBuildingsHigherEmissions/no_buildings_selected/emissions/CO2_emissions_neighborhood.csv"

df_connections_compare = "Seafile/Medias_in_Res/q100-qScope/Data/Simulationsergebnisse/20221105_selectedBuildingsHigherEmissions/no_buildings_selected/connections/connections_export.csv"

→ s. Simulationsordner in Seafile/Medias_in_Res/q100-qScope/Data/Simulationsergebnisse/20221105_selectedBuildingsHigherEmissions/

dunland commented 2 years ago

Ich nutze diesen Thread mal für Denksport-Aufgaben, die mir en passant auffallen:

7.26: konstante Emissionen

bei Gebäude 7.26 wurden konstante Emissionen von 519331.1194125g berechnet. Das Gebäude wird mit Gas beheizt und fällt durch ziemlich hohen Verbrauch (269.6kWh/m²) auf; eine Dynamik wäre trotzdem zu erwarten, oder? image

Sanierung hat keinen Effekt!

nach Sanierung bleiben die Emissionen leider ebenfalls konstant auf 519331.1194125g!!

Screenshot from 2022-11-05 15-01-49

Wärmenetzanschluss funktioniert aber: CO2_emissions_7 26

dunland commented 2 years ago

Gebäude mit Energieträger=Strom haben stufenhaften Emissionsverlauf:

CO2_emissions_2 11CO2_emissions_7 14CO2_emissions_7 20CO2_emissions_2 07

Warum?

lwinkeler commented 1 year ago

Random Seed Problem GAMA