search

marians / cologne-ris-scraper

A python-based scraper for the Ratsinformationssystem (RIS) of Cologne, Germany
14 stars 4 forks source link

*.asp vs *.php #2

Open michamilz opened 12 years ago

michamilz commented 12 years ago

Schwerin setzt unter http://bis.schwerin.de auch den Sessiondienst ein. Allerdings auf PHP Basis. Es sollte im Scraper die Option geben ob asp oder php Dateien abgerufen werden.

marians commented 12 years ago

@michamilz Das wäre wirklich gut! Im letzten commit habe ich wesentliche URLs konfigurierbar gemacht, aber damit wird es nicht getan sein. Denn bei jeder Installation ist mehr oder weniger am Template gearbeitet worden. Der Scraper muss potentiell für jede Installation angepasst werden.

Die Frage ist: Wie kann man das vernünftig abbilden? Als OO Klasse, die von Unterklassen erweitert wird?

Dafür muss der Code vermutlich noch deutlich modularer werden.

the-infinity commented 12 years ago

Wir in Bochum haben auch die PHP Version. Ich passe dies grade schrittweise an, fürchte aber, dass Marian erheblich fixer war in einigen Anpassungen :)

Am Wochenende wird es wohl von mir eine erste Beta geben, ... wollen wir das ggf. zusammen verfolgen, Micha?

michamilz commented 12 years ago

@the-infinity Ich bin totaler Python Neuling. Soweit ich kann, fasse ich gerne mit an.

the-infinity commented 12 years ago

Gott ist das ein Krampf. Die PHP Version hat bei PDFs keine names in den Forms. Das heisst all der schöne Code aus Köln ist dabei nicht sinnvoll. Ich fürchte, die PHP Menschen brauchen ein nachgebautes Form. Geht alles mit urllib2, ist aber ne ziemliche Frickelei ...

michamilz commented 12 years ago

@the-infinity du kannst im dev branch bei mir schauen https://github.com/michamilz/schwerin-bis-scraper/tree/dev Der Download der PDFs funktioniert. Es ist allerdings viel auskommentiert, das jetzt nach und nach wieder zurück muss.

guisquil commented 11 years ago

Ich würde gerne die Sitzungskalender (am besten mit Tagesordnung sobald verfügbar) aus dem Wittener RIS in die bald veröffentlichte Wittener abgeordnetenwatch.de - Seite für den Stadtrat integrieren, damit die Leute wissen, wozu es sich gerade lohnt, Fragen zu stellen. Kann mir jemand sagen, ob ich die bestehenden Codes aus Köln, Bochum etc. für das Wittener System nutzen kann, um die entsprechenden Daten zu scrapen? An die will ich ran: http://service.stadt-witten.de/session/bis/si0040.php?__cmonat=4&__cjahr=2013 oder http://service.stadt-witten.de/session/bis/infobi.php