search

politik-bei-uns / politik-bei-uns-scraper-old

Offenes Ratsinformationssystem: Scraper
14 stars 5 forks source link

Ausgabe als OpenGovLD Dump #1

Open akuckartz opened 9 years ago

akuckartz commented 9 years ago

Wenn der Scraper OpenGovLD ausgeben kann und nicht zwingend auf MongoDB angewiesen ist, dann ist er universeller verwendbar. Ich schaue mir gelegentlich an, wie das implementiert werden kann.

Siehe auch https://github.com/OpenGovLD/specs/issues/4

Weiteres Material dazu wird hier gesammelt https://github.com/okfde/ris-web/wiki/OpenGovLD

the-infinity commented 9 years ago

Der Scraper kann nur speichern, und in der Datenbank arbeite ich mit DBRefs und Co, also natürlich nicht 1:1 OParl. Natürlich könnte man auch ein anderes Speicher-Interface machen, was das ganze Formal-Foo direkt mit ausgibt (die Frage wäre dann: wohin? Der Scraper arbeitet stark mit Suchen + Updates, weil er an ganz verschiedenen Stellen Daten für dasselbe Objekt zusammensammelt). Ohne eine stukturierte Speicherung wird das also sehr, sehr schwierig. Und grundsätzlich: meinst du nicht, dass es mehr Sinn machen würde, den Formal-Foo erst bei der Ausgabe via Oparl(-LD) hinzuzfügen? Die MongoDB sind im Endeffekt die Rohdaten, die in verschiedenen Formaten ausgegeben werden können.

akuckartz commented 9 years ago

Guter Hinweis! Wenn die interne Arbeitsweise des Scraper derart stark auf MongoDB verwendet, dann wäre es offenbar unnötiger Aufwand dies zu ändern. Dann geht es mir "nur" noch um eine zusätzliche Ausgabemöglichkeit am Ende. Diese Erweiterung kann dann sogar identisch zu der von ris-web sein!

the-infinity commented 9 years ago

Man kann natürlich auch noch ein SQL-Backend schreiben wenn es Spaß bringt, das dürfte nicht einmal viel ändern. Oder um es anders zu formulieren: es wird in viele viele überflüssige Requests enden, weil die gewünschten Informationen für eine einzige Ausgabe einer OParl(+LD)-Seite auf zich Seiten im Original-RIS verteilt sind. IMHO kommt man um ein Caching in einer wie auch immer gearteten Datenbank nicht herum.

akuckartz commented 9 years ago

Einverstanden.