search

politik-bei-uns / politik-bei-uns-scraper-old

Offenes Ratsinformationssystem: Scraper
14 stars 5 forks source link

Daten online zugänglich machen via morph.io #6

Closed ahx closed 9 years ago

ahx commented 9 years ago

Hi! wie in #5 beschrieben ist es gar nicht so einfach den Scraper bei sich lokal zum Laufen zu bringen. Und wenn man das einmal für eine Stadt hingekriegt hat liegen die Daten lokal rum und sind nicht für andere erreichbar. Ich hatte mit @lhm mal angefangen ein script zu schreiben welches die Daten aus dem RIS Leipzig runterlädt und das bei morph.io hochgeladen: https://morph.io/ahx/city_council_leipzig_recent_papers Der scraper ist aber nicht so umgfangreich wie ris-scraper. Das tolle daran: Nicht nur der Quellcode für den scraper ist öffentlich, sondern die damit gesammelten Daten sind sofort über die Plattform via HTTP API, sqlite oder csv download zugänglich. Morph.io unterstützt Python, Ruby, Pearl und PHP. Es ist möglich Umgebungsvariablen anzugeben. Es ist auch möglich einen Scraper jeden Tag einmal starten zu lassen. Morph ist OpenSource https://github.com/openaustralia/morph. So könnte man mit dem gleichen Quellcode auch mehrere scraper bei morph.io erstellen und die roh-Daten von unterschiedlichen RIS' dort veröffentlichen. Das ist, gerade für nicht Pythonistas, einfacher als das ganze System zum Laufen zu bringen. Was meint ihr?

the-infinity commented 9 years ago

1) Irgendeine der nächsten Versionen wird ein simples "python main.py init" mitbringen, wo die Konfiguration einem automatisch angepasst wird. Ist mir auch schon aufgefallen dass das etwas arg komplex ist ;) 2) Für Nicht-Python-Liebhaber würde ich v.a. die API empfehlen: https://politik-bei-uns.de/oparl bzw https://politik-bei-uns.de/oparl?html=1 3) Die Erkenntnisse die du bei Morph ziehst (wie z.B. CSS Selektoren) wären aber natürlich spannend :)

akuckartz commented 9 years ago

Zu den "gesammelten Daten" siehe auch #1

Nach aktuellem Stand ist für den größten Teil der offenen Punkte der OpenGovLD-Spezifikation die Lösung klar und wird in den nächsten Wochen bearbeitet. Allerdings steht weiterhin die Frage im Raum, ob die deutsche (Kommunal-)Verwaltung parallel dazu einmal mehr versucht ihre eigene Insel-Lösung(?) zu etablieren oder sich internationalen Entwicklungen anschließt und diese unterstützt.

ahx commented 9 years ago

@the-infinity: 1) Cool. Ein funktionierendes Beispiel würde mir aber auch reichen. 2) Supercool. Frage: Wie bekommen wir Leipzig da schnellstmöglich rein? 3) Haupterkenntnis von Morph ist bei mir gerade: Erhöhte Entwicklungsgeschwindigkeit. – Nur mit Git und einem Codeeditor kann ich einen bestehenden Scraper kopieren (forken), anpassen, bei Morph hochladen und alle sehen die Daten online. Ich gehe davon aus, dass jede Stadt ihr eigenes Insellsystem haben wird oder ihre Allris/Session…-Installation irgendwie komisch anpassen wird.

ahx commented 9 years ago

Danke für die Antworten. Looks like a #wontfix.

the-infinity commented 9 years ago

Der Installer ist mittlerweile im Schwesterprojekt ris-web. Configs kommen in einer der nächsten Commits. In wiefern dann noch eine Anpassung für morph gemacht werden muss weiß ich nicht. Aber selbstverständlich integriere ich Vorschläge = pull requests.