search

bundesAPI / sofortmassnahmen

Zivilgesellschaftliche Beteiligung zu den „Sofortmaßnahmen Zweites Open Data Gesetz“
96 stars 3 forks source link

Handelsregister #12

Closed PJUllrich closed 3 years ago

PJUllrich commented 3 years ago

Auf www.handelsregister.de können die

Handels-, Genossenschafts- und Partnerschaftsregister sowie die Vereinsregister aller Bundesländer und darüber hinaus die Registerbekanntmachungen (Veröffentlichungen)

eingesehen werden. Hierfür steht ein einfaches Web Formular zur Verfügung. Die Suche und die Einsicht der Bekanntmachungen und Veröffentlichungen ist kostenlos. Die Abfrage von "Abdrucken" und anderen Dokumenten (z.b. Liste der Gesellschafter) sind kostenpflichtig obwohl diese Dokumente bereits in digitaler Form vorliegen. Für kostenpflichtige Einsichten muss ein Account angelegt werden und eine IBAN für das Lastschriftverfahren oder eine Adresse für eine Zahlung per Rechnung hinterlegt werden.

Eine Dokumentierung der Such-API würde bereits folgende Use-cases beantworten:

Ich würde gerne die kostenlosen Endpunkte dokumentieren. Wäre die Bundesstelle für Open Data hieran interessiert? 😋

LilithWittmann commented 3 years ago

Ich würde gerne die kostenlosen Endpunkte dokumentieren. Wäre die Bundesstelle für Open Data hieran interessiert? 😋

Das wäre großartig. Hier hast Du ein Repo. https://github.com/bundesAPI/handelsregister/ 👍

PJUllrich commented 3 years ago

Tut mir leid Leute, ich war da wohl etwas voreilig. Ich nahm an, dass die Suche auf handelsregister.de eine API verwendet, aber es ist doch static side rendering mit Java Servlets. Sprich, die einzige Methode, um von dieser Website Daten zu holen, scheint scraping zu sein. Eine öffentliche API konnte ich nicht finden.

ABER

Es scheint bereits das Projekt OffeneRegister.de zu geben über welches auch Arne Semsrott bereits geschrieben hat. OffeneRegister.de bietet eine öffentliche API mit einer CreativeCommons Lizenz an und lässt zusätzlich sogar SQL-Queries auf deren Datenbank zu. Es gibt schon eine Beschreibung der API, allerdings noch keine openapi.yaml-Beschreibung.

Also eine Dokumentation der API von handelsregister.de wird wohl bis auf Weiteres leider nicht möglich sein, zumindest nicht ohne scraping.

So wie ich das sehe, bleiben uns derzeit zwei Optionen:

  1. Wir erweitern die deutschland Python lib um Scraping-Funktionalität für handelsregister.de.
    1. Vorteil: Die offiziellen Daten von handelsregister.de können programmatisch abgerufen werden.
    2. Nachteil: Auf der Startseite von handelsregister.de steht bereits jetzt eine Warnung, dass die UI "bald" durch eine "neue, modernisierte" Nutzeroberfläche ersetzt wird. Sprich, wir müssten die Scraping-Logik updaten und aktuell halten. Ebenfalls könnte uns handelsregister.de das Scraping erschweren, was zu einem Katz-und-Maus-Spiel führen könnte.
  2. Wir dokumentieren die OffeneRegister.de-API im openapi.yaml-Format in einem bundesAPI-Repo. Eventuell könnte man auch mal die Entwickler*innen von OffeneRegister.de fragen, ob sie bereit wären eine openapi.yaml-Datei zur Verfügung zu stellen.
    1. Vorteil: Kein Bedarf an Scraping. Keine allzu hohen Maintenance-Kosten. Potenziell performantere Abfragen.
    2. Nachteil: Daten kommen nicht aus der offiziellen Quelle und könnten veraltet sein. Abhängigkeit (technisch als auch menschlich) vom OffeneRegister-Projekt.

Was meint ihr? Wie soll's hier weitergehen?

LilithWittmann commented 3 years ago

Ich würde zu 1 tendieren. Seiten werden immer geupdated. IdR ist es nicht super schwierig den scraper wieder anzupassen. Soweit ich weiß, wird offeneregister nichtmehr aktualisiert - ist deswegen nicht so sinnvoll.

PJUllrich commented 3 years ago

Ah alles klar. Dann werde ich mich auf den scraper in der Python lib konzentrieren.

Sorry, ich hatte die wohl etwas naive Erwartung dass Handelsregister.de mit einer öffentlichen, aber undokumentierten API läuft. Die Vermutung hätte ich aber erst bestätigen sollen 🙏

PJUllrich commented 3 years ago

Bitte gerne einmal über diesen PR schauen: https://github.com/bundesAPI/deutschland/pull/12

Er fügt die erste Funktionalität hinzu: Die Suche nach Firmen im Handelsregister.

LilithWittmann commented 3 years ago

Done 🎉