bundesAPI / sofortmassnahmen

Zivilgesellschaftliche Beteiligung zu den „Sofortmaßnahmen Zweites Open Data Gesetz“
96 stars 3 forks source link

Doku Request: UBA Webrigoletto #72

Open LilithWittmann opened 1 year ago

LilithWittmann commented 1 year ago

Website: https://webrigoletto.uba.de/Rigoletto/ Die dahinterliegende Datenbank ist als csv Export abrufbar unter: https://webrigoletto.uba.de/Rigoletto/Home/GetClassificationFile/Export_Tabelle

Hintergrund Alle chemischen Stoffe werden grundsätzlich in WGK 3 eingestuft. Wenn Stoffe aber in WGK1/WGK2/nwg eingestuft werden, müssen weniger Auflagen bei der Lagerung/Transport eingehalten werden. Dazu stellen Firmen Anträge beim UBA und das überprüft diese dann und macht die Einstufung, die wird dann im Bundesanzeiger veröffentlicht und ist hier auf der Webseite recherchierbar. Es soll sogar Firmen geben, die diese frei zugänglichen Informationen nehmen und weiterverkaufen.

Bisheriger Code

import requests

# Path to the table export file:
table_export_url = "https://webrigoletto.uba.de/Rigoletto/Home/GetClassificationFile/Export_Tabelle"

class StoffEintrag:
    def __init__(self, entry: list[str]):
        self.Kennnummer = entry[0]
        self.Einstufungsbezeichnung = entry[1]
        self.EinstufungsbezeichnungEnglisch = entry[2]
        self.Stoffname = entry[3]
        self.Gruppenname = entry[4]
        self.CAS_Nr: list[str] = str(entry[5]).split(',')
        self.EG_Nr: list[str] = str(entry[6]).split(',')
        self.MFaktor = entry[7]
        self.Synonym: list[str] = str(entry[8]).split('<br />')
        self.Veroeffentlichungsdatum = entry[9]
        self.WGK = entry[10]
        self.Fussnoten = entry[11]

class WebRigoletto:
    def __init__(self):
        self.stoff_table: list[StoffEintrag] = list()
        fp = requests.get(table_export_url)
        for line in fp.text.splitlines()[1:]:
            self.stoff_table.add(StoffEintrag(line.split('|')))
LilithWittmann commented 1 year ago

Repository has been created. here: https://github.com/bundesAPI/rigoletto-api/actions/runs/3297564956

t-huyeng commented 1 year ago

Das Umweltbundesamt nimmt das Urheberrecht der öffentlichen Daten scheinbar sehr genau:

(2) Urheberrecht Die auf dieser Website veröffentlichten Inhalte und Werke sind urheberrechtlich geschützt. Jede vom deutschen Urheberrecht nicht zugelassene Verwertung bedarf der vorherigen schriftlichen Zustimmung des jeweiligen Autors oder Urhebers. Dies gilt insbesondere für Vervielfältigung, Bearbeitung, Übersetzung, Einspeicherung, Verarbeitung bzw. Wiedergabe von Inhalten in Datenbanken oder anderen elektronischen Medien und Systemen. Inhalte und Beiträge Dritter sind dabei als solche gekennzeichnet. Die unerlaubte Vervielfältigung oder Weitergabe einzelner Inhalte oder kompletter Seiten ist nicht gestattet und strafbar. Lediglich die Herstellung von Kopien und Downloads für den persönlichen, privaten und nicht kommerziellen Gebrauch ist erlaubt.

Quelle: https://webrigoletto.uba.de/Rigoletto/Home/Imprint

Ich hätte jetzt die CSV ausgelesen und z.B. als JSON über GitHub zugänglich gemacht. Dies scheint allerdings eher nicht erlaubt zu sein oder?

LilithWittmann commented 1 year ago

Doch doch, fällt ja unter das Datennutzungsgesetz. Da hat jemand vergessen die Urheberrerchtsnotiz rauszunehmen.

wirthual commented 1 year ago

Do you think we could use this to serve it and then create an openapi for it? Since it's fastapi based, we could probably get the openapi definitions for free 😍

https://github.com/jrieke/fastapi-csv

Or since they do not use comma, more this version: https://github.com/jrieke/fastapi-csv/pull/1

LilithWittmann commented 1 year ago

Could we maybe do this based on an aws function? (you should have access to the tf repository and could just create some ressources there…)

t-huyeng commented 1 year ago

Bezüglich der Datennutzung gibt es scheinbar ein Update auf der Webseite: https://webrigoletto.uba.de/Rigoletto/Home/Imprint

(2) Datennutzung
a. Jede Nutzung ist unter den Bedingungen der „Datenlizenz Deutschland – Namensnennung – Version 2.0" zulässig.
Die bereitgestellten Daten und Metadaten dürfen für die kommerzielle und nicht kommerzielle Nutzung insbesondere
 1. vervielfältigt, ausgedruckt, präsentiert, verändert, bearbeitet sowie an Dritte übermittelt werden;
 

Damit ist die Nutzung nun auch so auf der Seite bestätigt. Ggfls. muss ein Quellenvermerk hinzugefügt werden.