openego / eGon-data

GNU Affero General Public License v3.0
10 stars 4 forks source link

Meta data strings with qutationmarks fail #1119

Open ClaraBuettner opened 1 year ago

ClaraBuettner commented 1 year ago

When there are single quotation marks in a field of meta data, it fails:


[2023-03-15 17:41:12,453] {logging_mixin.py:120} INFO - CREATE TEMPORARY TABLE "heat_demand_rasters_res_hd_egon2035" ("rid" serial PRIMARY KEY,"rast" raster,"filename" text);
[2023-03-15 17:45:24,098] {taskinstance.py:1150} ERROR - (psycopg2.errors.SyntaxError) syntax error at or near "Methodologies"
LINE 1: ...oadmap Europe website, in particular D2.3 report 'Methodolog...
                                                             ^

[SQL: COMMENT ON TABLE demand.egon_peta_heat IS '{"name": "egon_peta_heat_metadata", "title": "eGo_n scenario-specific future heat demand data", "id": "WILL_BE_SET_AT_PUBLICATION", "description": "Future heat demands per hectare grid cell of the residential and service sector", "language": ["EN"], "context": {"homepage": "https://ego-n.org/", "documentation": "https://egon-data.readthedocs.io/en/latest/", "sourceCode": "https://github.com/openego/eGon-data", "contact": "https://ego-n.org/partners/", "grantNo": "03EI1002", "fundingAgency": "Bundesministerium f\u00fcr Wirtschaft und Energie", "fundingAgencyLogo": "https://www.innovation-beratung-foerderung.de/INNO/Redaktion/DE/Bilder/Titelbilder/titel_foerderlogo_bmwi.jpg?__blob=normal&v=3", "publisherLogo": "https://ego-n.org/images/eGon_logo_noborder_transbg.svg"}, "spatial": {"location": null, "extent": "Germany", "resolution": "100x100m"}, "sources": [{"titel": "eGon-data", "description": "Workflow to download, process and generate data setssuitable for the further research conducted in the project eGon (https://ego-n.org/)", "path": "https://github.com/openego/eGon-data", "licenses": [{"name": "AGPL-3.0 License", "title": "GNU Affero General Public License v3.0", "path": "https://www.gnu.org/licenses/agpl-3.0.de.html", "instruction": "Permissions of this strongest copyleft license areconditioned on making available complete source code of licensed works and modifications, which include larger works using a licensedwork, under the same license. Copyright and license notices must bepreserved. Contributors provide an express grant of patent rights.When a modified version is used to provide a service over a network,the complete source code of the modified version must be made available.", "attribution": "\u00a9 eGon development team"}]}, {"title": "Pan-European Thermal Atlas, Peta version 5.0.1", "description": "Modelled Heat Demand distribution (in GJ per hectare grid cell) for residential and service heat demands for space heating and hot water for the year 2015 using HRE4 data and the combined top-down bottom-up approach of HRE4. National sector-specific heat demand data, derived by the FORECAST model in HRE4 for residential (delivered energy, for space heating and hot water) and service-sector (delivered energy, for space heating, hot water and process heat) buildings for the year 2015, were distributed using modelled, spatial statistics based floor areas in 100x100m grids and a population grid. For further information please see the documentation available on the Heat Roadmap Europe website, in particular D2.3 report 'Methodologies and assumptions used in the mapping'.", "path": "https://s-eenergies-open-data-euf.hub.arcgis.com/search", "licenses": [{"name": "CC-BY-4.0", "title": "Creative Commons Attribution 4.0 International", "path": "https://creativecommons.org/licenses/by/4.0/legalcode", "instruction": "You are free: To Share, To Create, To Adapt; As long as you: Attribute.", "attribution": "\u00a9 Europa-Universit\u00e4t Flensburg, Halmstad University and Aalborg University"}]}, {"title": "Verwaltungsgebiete 1:250 000 (Ebenen)", "description": "Der Datenbestand umfasst s\u00e4mtliche Verwaltungseinheiten der hierarchischen Verwaltungsebenen vom Staat bis zu den Gemeinden mit ihren Grenzen, statistischen Schl\u00fcsselzahlen, Namen der Verwaltungseinheit sowie die spezifische Bezeichnung der Verwaltungsebene des jeweiligen Landes.", "path": "https://daten.gdz.bkg.bund.de/produkte/vg/vg250_ebenen_0101/2020/vg250_01-01.geo84.shape.ebenen.zip", "licenses": [{"name": "dl-by-de/2.0", "title": "Datenlizenz Deutschland \u2013 Namensnennung \u2013 Version 2.0", "path": "www.govdata.de/dl-de/by-2-0", "instruction": "Jede Nutzung ist unter den Bedingungen dieser \u201eDatenlizenz Deutschland - Namensnennung - Version 2.0 zul\u00e4ssig.\nDie bereitgestellten Daten und Metadaten d\u00fcrfen f\u00fcr die kommerzielle und nicht kommerzielle Nutzung insbesondere:(1) vervielf\u00e4ltigt, ausgedruckt, pr\u00e4sentiert, ver\u00e4ndert, bearbeitet sowie an Dritte \u00fcbermittelt werden;\n (2) mit eigenen Daten und Daten Anderer zusammengef\u00fchrt und zu selbst\u00e4ndigen neuen Datens\u00e4tzen verbunden werden;\n (3) in interne und externe Gesch\u00e4ftsprozesse, Produkte und Anwendungen in \u00f6ffentlichen und nicht \u00f6ffentlichen elektronischen Netzwerken eingebunden werden.\nBei der Nutzung ist sicherzustellen, dass folgende Angaben als Quellenvermerk enthalten sind:\n(1) Bezeichnung des Bereitstellers nach dessen Ma\u00dfgabe,\n(2) der Vermerk Datenlizenz Deutschland \u2013 Namensnennung \u2013 Version 2.0 oder dl-de/by-2-0 mit Verweis auf den Lizenztext unter www.govdata.de/dl-de/by-2-0 sowie\n(3) einen Verweis auf den Datensatz (URI).Dies gilt nur soweit die datenhaltende Stelle die Angaben(1) bis (3) zum Quellenvermerk bereitstellt.\nVer\u00e4nderungen, Bearbeitungen, neue Gestaltungen oder sonstige Abwandlungen sind im Quellenvermerk mit dem Hinweis zu versehen, dass die Daten ge\u00e4ndert wurden.", "attribution": "\u00a9 Bundesamt f\u00fcr Kartographie und Geod\u00e4sie 2020 (Daten ver\u00e4ndert)"}]}, {"title": "Statistisches Bundesamt (Destatis) - Ergebnisse des Zensus 2011 zum Download", "description": "Als Download bieten wir Ihnen auf dieser Seite zus\u00e4tzlich zur Zensusdatenbank CSV- und teilweise Excel-Tabellen mit umfassenden Personen-, Haushalts- und Familien- sowie Geb\u00e4ude- und Wohnungs\u00admerkmalen. Die Ergebnisse liegen auf Bundes-, L\u00e4nder-, Kreis- und Gemeinde\u00adebene vor. Au\u00dferdem sind einzelne Ergebnisse f\u00fcr Gitterzellen verf\u00fcgbar.", "path": "https://www.zensus2011.de/SharedDocs/Aktuelles/Ergebnisse/DemografischeGrunddaten.html;jsessionid=E0A2B4F894B258A3B22D20448F2E4A91.2_cid380?nn=3065474", "licenses": [{"name": "dl-by-de/2.0", "title": "Datenlizenz Deutschland \u2013 Namensnennung \u2013 Version 2.0", "path": "www.govdata.de/dl-de/by-2-0", "instruction": "Jede Nutzung ist unter den Bedingungen dieser \u201eDatenlizenz Deutschland - Namensnennung - Version 2.0 zul\u00e4ssig.\nDie bereitgestellten Daten und Metadaten d\u00fcrfen f\u00fcr die kommerzielle und nicht kommerzielle Nutzung insbesondere:(1) vervielf\u00e4ltigt, ausgedruckt, pr\u00e4sentiert, ver\u00e4ndert, bearbeitet sowie an Dritte \u00fcbermittelt werden;\n (2) mit eigenen Daten und Daten Anderer zusammengef\u00fchrt und zu selbst\u00e4ndigen neuen Datens\u00e4tzen verbunden werden;\n (3) in interne und externe Gesch\u00e4ftsprozesse, Produkte und Anwendungen in \u00f6ffentlichen und nicht \u00f6ffentlichen elektronischen Netzwerken eingebunden werden.\nBei der Nutzung ist sicherzustellen, dass folgende Angaben als Quellenvermerk enthalten sind:\n(1) Bezeichnung des Bereitstellers nach dessen Ma\u00dfgabe,\n(2) der Vermerk Datenlizenz Deutschland \u2013 Namensnennung \u2013 Version 2.0 oder dl-de/by-2-0 mit Verweis auf den Lizenztext unter www.govdata.de/dl-de/by-2-0 sowie\n(3) einen Verweis auf den Datensatz (URI).Dies gilt nur soweit die datenhaltende Stelle die Angaben(1) bis (3) zum Quellenvermerk bereitstellt.\nVer\u00e4nderungen, Bearbeitungen, neue Gestaltungen oder sonstige Abwandlungen sind im Quellenvermerk mit dem Hinweis zu versehen, dass die Daten ge\u00e4ndert wurden.", "attribution": "\u00a9 Statistische \u00c4mter des Bundes und der L\u00e4nder 2014"}]}], "resources": [{"profile": "tabular-data-resource", "name": "egon_peta_heat", "path": "", "format": "PostgreSQL", "encoding": "UTF-8", "schema": {"fields": [{"name": "id", "description": "Unique identifier", "type": "serial", "unit": "none"}, {"name": "demand", "description": "annual heat demand", "type": "double precision", "unit": "MWh"}, {"name": "sector", "description": "sector e.g. residential", "type": "text", "unit": "none"}, {"name": "scenario", "description": "scenario name", "type": "text", "unit": "none"}, {"name": "zensus_population_id", "description": "census cell id", "type": "integer", "unit": "none"}], "primaryKey": ["id"], "foreignKeys": [{"fields": ["zensus_population_id"], "reference": {"resource": "society.destatis_zensus_population_per_ha", "fields": ["id"]}}, {"fields": ["scenario"], "reference": {"resource": "scenario.egon_scenario_parameters", "fields": ["name"]}}]}, "dialect": {"delimiter": "none", "decimalSeparator": "."}}], "licenses": [{"name": "CC-BY-4.0", "title": "Creative Commons Attribution 4.0 International", "path": "https://creativecommons.org/licenses/by/4.0/legalcode", "instruction": "You are free: To Share, To Create, To Adapt; As long as you: Attribute.", "attribution": "\u00a9 Europa-Universit\u00e4t Flensburg"}], "contributors": [{"title": "EvaWie", "email": "http://github.com/EvaWie", "date": "2023-03-15", "object": null, "comment": "Imported data"}, {"title": "Clara B\u00fcttner", "email": "http://github.com/ClaraBuettner", "date": "2023-03-15", "object": null, "comment": "Updated metadata"}], "metaMetadata": {"metadataVersion": "OEP-1.4.1", "metadataLicense": {"name": "CC0-1.0", "title": "Creative Commons Zero v1.0 Universal", "path": "https://creativecommons.org/publicdomain/zero/1.0/"}}}';]
(Background on this error at: http://sqlalche.me/e/13/f405)
Traceback (most recent call last):
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1276, in _execute_context
    self.dialect.do_execute(
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/sqlalchemy/engine/default.py", line 608, in do_execute
    cursor.execute(statement, parameters)
psycopg2.errors.SyntaxError: syntax error at or near "Methodologies"
LINE 1: ...oadmap Europe website, in particular D2.3 report 'Methodolog...
                                                             ^

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/airflow/models/taskinstance.py", line 984, in _run_raw_task
    result = task_copy.execute(context=context)
  File "/home/clara/test-egon-data/eGon-data/src/egon/data/datasets/__init__.py", line 194, in skip_task
    result = super(type(task), task).execute(*xs, **ks)
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/airflow/operators/python_operator.py", line 113, in execute
    return_value = self.execute_callable()
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/airflow/operators/python_operator.py", line 118, in execute_callable
    return self.python_callable(*self.op_args, **self.op_kwargs)
  File "/home/clara/test-egon-data/eGon-data/src/egon/data/datasets/heat_demand/__init__.py", line 712, in scenario_data_import
    add_metadata()
  File "/home/clara/test-egon-data/eGon-data/src/egon/data/datasets/heat_demand/__init__.py", line 667, in add_metadata
    db.submit_comment(meta_json, "demand", "egon_peta_heat")
  File "/home/clara/test-egon-data/eGon-data/src/egon/data/db.py", line 101, in submit_comment
    execute_sql(prefix_str + json + ";")
  File "/home/clara/test-egon-data/eGon-data/src/egon/data/db.py", line 73, in execute_sql
    con.execute(text(sql_string))
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1011, in execute
    return meth(self, multiparams, params)
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/sqlalchemy/sql/elements.py", line 298, in _execute_on_connection
    return connection._execute_clauseelement(self, multiparams, params)
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1124, in _execute_clauseelement
    ret = self._execute_context(
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1316, in _execute_context
    self._handle_dbapi_exception(
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1510, in _handle_dbapi_exception
    util.raise_(
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/sqlalchemy/util/compat.py", line 182, in raise_
    raise exception
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/sqlalchemy/engine/base.py", line 1276, in _execute_context
    self.dialect.do_execute(
  File "/home/clara/test-egon-data/venv/lib/python3.8/site-packages/sqlalchemy/engine/default.py", line 608, in do_execute
    cursor.execute(statement, parameters)
sqlalchemy.exc.ProgrammingError: (psycopg2.errors.SyntaxError) syntax error at or near "Methodologies"
LINE 1: ...oadmap Europe website, in particular D2.3 report 'Methodolog...
                                                             ^

[SQL: COMMENT ON TABLE demand.egon_peta_heat IS '{"name": "egon_peta_heat_metadata", "title": "eGo_n scenario-specific future heat demand data", "id": "WILL_BE_SET_AT_PUBLICATION", "description": "Future heat demands per hectare grid cell of the residential and service sector", "language": ["EN"], "context": {"homepage": "https://ego-n.org/", "documentation": "https://egon-data.readthedocs.io/en/latest/", "sourceCode": "https://github.com/openego/eGon-data", "contact": "https://ego-n.org/partners/", "grantNo": "03EI1002", "fundingAgency": "Bundesministerium f\u00fcr Wirtschaft und Energie", "fundingAgencyLogo": "https://www.innovation-beratung-foerderung.de/INNO/Redaktion/DE/Bilder/Titelbilder/titel_foerderlogo_bmwi.jpg?__blob=normal&v=3", "publisherLogo": "https://ego-n.org/images/eGon_logo_noborder_transbg.svg"}, "spatial": {"location": null, "extent": "Germany", "resolution": "100x100m"}, "sources": [{"titel": "eGon-data", "description": "Workflow to download, process and generate data setssuitable for the further research conducted in the project eGon (https://ego-n.org/)", "path": "https://github.com/openego/eGon-data", "licenses": [{"name": "AGPL-3.0 License", "title": "GNU Affero General Public License v3.0", "path": "https://www.gnu.org/licenses/agpl-3.0.de.html", "instruction": "Permissions of this strongest copyleft license areconditioned on making available complete source code of licensed works and modifications, which include larger works using a licensedwork, under the same license. Copyright and license notices must bepreserved. Contributors provide an express grant of patent rights.When a modified version is used to provide a service over a network,the complete source code of the modified version must be made available.", "attribution": "\u00a9 eGon development team"}]}, {"title": "Pan-European Thermal Atlas, Peta version 5.0.1", "description": "Modelled Heat Demand distribution (in GJ per hectare grid cell) for residential and service heat demands for space heating and hot water for the year 2015 using HRE4 data and the combined top-down bottom-up approach of HRE4. National sector-specific heat demand data, derived by the FORECAST model in HRE4 for residential (delivered energy, for space heating and hot water) and service-sector (delivered energy, for space heating, hot water and process heat) buildings for the year 2015, were distributed using modelled, spatial statistics based floor areas in 100x100m grids and a population grid. For further information please see the documentation available on the Heat Roadmap Europe website, in particular D2.3 report 'Methodologies and assumptions used in the mapping'.", "path": "https://s-eenergies-open-data-euf.hub.arcgis.com/search", "licenses": [{"name": "CC-BY-4.0", "title": "Creative Commons Attribution 4.0 International", "path": "https://creativecommons.org/licenses/by/4.0/legalcode", "instruction": "You are free: To Share, To Create, To Adapt; As long as you: Attribute.", "attribution": "\u00a9 Europa-Universit\u00e4t Flensburg, Halmstad University and Aalborg University"}]}, {"title": "Verwaltungsgebiete 1:250 000 (Ebenen)", "description": "Der Datenbestand umfasst s\u00e4mtliche Verwaltungseinheiten der hierarchischen Verwaltungsebenen vom Staat bis zu den Gemeinden mit ihren Grenzen, statistischen Schl\u00fcsselzahlen, Namen der Verwaltungseinheit sowie die spezifische Bezeichnung der Verwaltungsebene des jeweiligen Landes.", "path": "https://daten.gdz.bkg.bund.de/produkte/vg/vg250_ebenen_0101/2020/vg250_01-01.geo84.shape.ebenen.zip", "licenses": [{"name": "dl-by-de/2.0", "title": "Datenlizenz Deutschland \u2013 Namensnennung \u2013 Version 2.0", "path": "www.govdata.de/dl-de/by-2-0", "instruction": "Jede Nutzung ist unter den Bedingungen dieser \u201eDatenlizenz Deutschland - Namensnennung - Version 2.0 zul\u00e4ssig.\nDie bereitgestellten Daten und Metadaten d\u00fcrfen f\u00fcr die kommerzielle und nicht kommerzielle Nutzung insbesondere:(1) vervielf\u00e4ltigt, ausgedruckt, pr\u00e4sentiert, ver\u00e4ndert, bearbeitet sowie an Dritte \u00fcbermittelt werden;\n (2) mit eigenen Daten und Daten Anderer zusammengef\u00fchrt und zu selbst\u00e4ndigen neuen Datens\u00e4tzen verbunden werden;\n (3) in interne und externe Gesch\u00e4ftsprozesse, Produkte und Anwendungen in \u00f6ffentlichen und nicht \u00f6ffentlichen elektronischen Netzwerken eingebunden werden.\nBei der Nutzung ist sicherzustellen, dass folgende Angaben als Quellenvermerk enthalten sind:\n(1) Bezeichnung des Bereitstellers nach dessen Ma\u00dfgabe,\n(2) der Vermerk Datenlizenz Deutschland \u2013 Namensnennung \u2013 Version 2.0 oder dl-de/by-2-0 mit Verweis auf den Lizenztext unter www.govdata.de/dl-de/by-2-0 sowie\n(3) einen Verweis auf den Datensatz (URI).Dies gilt nur soweit die datenhaltende Stelle die Angaben(1) bis (3) zum Quellenvermerk bereitstellt.\nVer\u00e4nderungen, Bearbeitungen, neue Gestaltungen oder sonstige Abwandlungen sind im Quellenvermerk mit dem Hinweis zu versehen, dass die Daten ge\u00e4ndert wurden.", "attribution": "\u00a9 Bundesamt f\u00fcr Kartographie und Geod\u00e4sie 2020 (Daten ver\u00e4ndert)"}]}, {"title": "Statistisches Bundesamt (Destatis) - Ergebnisse des Zensus 2011 zum Download", "description": "Als Download bieten wir Ihnen auf dieser Seite zus\u00e4tzlich zur Zensusdatenbank CSV- und teilweise Excel-Tabellen mit umfassenden Personen-, Haushalts- und Familien- sowie Geb\u00e4ude- und Wohnungs\u00admerkmalen. Die Ergebnisse liegen auf Bundes-, L\u00e4nder-, Kreis- und Gemeinde\u00adebene vor. Au\u00dferdem sind einzelne Ergebnisse f\u00fcr Gitterzellen verf\u00fcgbar.", "path": "https://www.zensus2011.de/SharedDocs/Aktuelles/Ergebnisse/DemografischeGrunddaten.html;jsessionid=E0A2B4F894B258A3B22D20448F2E4A91.2_cid380?nn=3065474", "licenses": [{"name": "dl-by-de/2.0", "title": "Datenlizenz Deutschland \u2013 Namensnennung \u2013 Version 2.0", "path": "www.govdata.de/dl-de/by-2-0", "instruction": "Jede Nutzung ist unter den Bedingungen dieser \u201eDatenlizenz Deutschland - Namensnennung - Version 2.0 zul\u00e4ssig.\nDie bereitgestellten Daten und Metadaten d\u00fcrfen f\u00fcr die kommerzielle und nicht kommerzielle Nutzung insbesondere:(1) vervielf\u00e4ltigt, ausgedruckt, pr\u00e4sentiert, ver\u00e4ndert, bearbeitet sowie an Dritte \u00fcbermittelt werden;\n (2) mit eigenen Daten und Daten Anderer zusammengef\u00fchrt und zu selbst\u00e4ndigen neuen Datens\u00e4tzen verbunden werden;\n (3) in interne und externe Gesch\u00e4ftsprozesse, Produkte und Anwendungen in \u00f6ffentlichen und nicht \u00f6ffentlichen elektronischen Netzwerken eingebunden werden.\nBei der Nutzung ist sicherzustellen, dass folgende Angaben als Quellenvermerk enthalten sind:\n(1) Bezeichnung des Bereitstellers nach dessen Ma\u00dfgabe,\n(2) der Vermerk Datenlizenz Deutschland \u2013 Namensnennung \u2013 Version 2.0 oder dl-de/by-2-0 mit Verweis auf den Lizenztext unter www.govdata.de/dl-de/by-2-0 sowie\n(3) einen Verweis auf den Datensatz (URI).Dies gilt nur soweit die datenhaltende Stelle die Angaben(1) bis (3) zum Quellenvermerk bereitstellt.\nVer\u00e4nderungen, Bearbeitungen, neue Gestaltungen oder sonstige Abwandlungen sind im Quellenvermerk mit dem Hinweis zu versehen, dass die Daten ge\u00e4ndert wurden.", "attribution": "\u00a9 Statistische \u00c4mter des Bundes und der L\u00e4nder 2014"}]}], "resources": [{"profile": "tabular-data-resource", "name": "egon_peta_heat", "path": "", "format": "PostgreSQL", "encoding": "UTF-8", "schema": {"fields": [{"name": "id", "description": "Unique identifier", "type": "serial", "unit": "none"}, {"name": "demand", "description": "annual heat demand", "type": "double precision", "unit": "MWh"}, {"name": "sector", "description": "sector e.g. residential", "type": "text", "unit": "none"}, {"name": "scenario", "description": "scenario name", "type": "text", "unit": "none"}, {"name": "zensus_population_id", "description": "census cell id", "type": "integer", "unit": "none"}], "primaryKey": ["id"], "foreignKeys": [{"fields": ["zensus_population_id"], "reference": {"resource": "society.destatis_zensus_population_per_ha", "fields": ["id"]}}, {"fields": ["scenario"], "reference": {"resource": "scenario.egon_scenario_parameters", "fields": ["name"]}}]}, "dialect": {"delimiter": "none", "decimalSeparator": "."}}], "licenses": [{"name": "CC-BY-4.0", "title": "Creative Commons Attribution 4.0 International", "path": "https://creativecommons.org/licenses/by/4.0/legalcode", "instruction": "You are free: To Share, To Create, To Adapt; As long as you: Attribute.", "attribution": "\u00a9 Europa-Universit\u00e4t Flensburg"}], "contributors": [{"title": "EvaWie", "email": "http://github.com/EvaWie", "date": "2023-03-15", "object": null, "comment": "Imported data"}, {"title": "Clara B\u00fcttner", "email": "http://github.com/ClaraBuettner", "date": "2023-03-15", "object": null, "comment": "Updated metadata"}], "metaMetadata": {"metadataVersion": "OEP-1.4.1", "metadataLicense": {"name": "CC0-1.0", "title": "Creative Commons Zero v1.0 Universal", "path": "https://creativecommons.org/publicdomain/zero/1.0/"}}}';]
(Background on this error at: http://sqlalche.me/e/13/f405)
[2023-03-15 17:45:24,309] {taskinstance.py:1187} INFO - Marking task as FAILED. dag_id=egon-data-processing-pipeline, task_id=heat_demand.scenario-data-import, execution_date=20230315T162642, start_date=20230315T164011, end_date=20230315T164524
[2023-03-15 17:45:27,795] {local_task_job.py:102} INFO - Task exited with return code 1
gnn commented 1 year ago

Based on which branch, or even better, commit is this? Then I can have a look at the code, to figure out, whether this is a client or a server side problem.

ClaraBuettner commented 1 year ago

It happens on branch features/#450-add-metadata This commit fixed the problem: https://github.com/openego/eGon-data/pull/568/commits/3a925dc48b71ccdf523f897f1ae212efcc60df9a but it would be nice to know if that's intended.