Stadt Münster-Events importieren

[jahnique]

• [x] https://www.stadt-muenster.de/tourismus/veranstaltungen/veranstaltungskalender.html analysieren

  1. POST-Request: curl 'https://www.muenster.de/veranstaltungskalender/scripts/frontend/sucheVerarbeiten.php' -H 'Connection: keep-alive' -H 'Cache-Control: max-age=0' -H 'Origin: https://www.muenster.de' -H 'Upgrade-Insecure-Requests: 1' -H 'Content-Type: application/x-www-form-urlencoded' -H 'User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36' -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8' -H 'Referer: https://www.muenster.de/veranstaltungskalender/scripts/frontend/suche.php' -H 'Accept-Encoding: gzip, deflate, br' -H 'Accept-Language: en-GB,en;q=0.9,en-US;q=0.8,de;q=0.7,ja;q=0.6' -H 'Cookie: PHPSESSID=lo5l0p5fjmdgdub2le8aa6mnl6; EGOTEC=ddujf8a7hih0cenrvqm8hmlij5; _pk_ses.2.7bb0=*; _pk_id.2.7bb0=8a5b384246d1ac20.1527016101.1.1527016987.1527016101.' --data 'zeitraum=zeitraum&datum_von=22.05.2018&datum_bis=01.06.2018&rubriken%5B%5D=ausstellungen&rubriken%5B%5D=bildung-information&rubriken%5B%5D=fuehrungen&rubriken%5B%5D=kabarett-lesungen&rubriken%5B%5D=konzerte&rubriken%5B%5D=messen-maerkte&rubriken%5B%5D=party&rubriken%5B%5D=politik-buergerbeteiligung&rubriken%5B%5D=sport&rubriken%5B%5D=theater-tanz&rubriken%5B%5D=stadt-mix&suchstring=&volltextsuche-verknuepfung=und&zielgruppe=alle&submit=Suchen' --compressed -v
  2. GET-Request: curl 'https://www.muenster.de/veranstaltungskalender/scripts/frontend/suchergebnis.php?guestID=100'

• [ ] Scraper schreiben (ggf. via Scrapy)

[thunfischtoast]

Heyho, ich habe einen Scrapy für den Veranstaltungskalender gebaut! Können demnächst mal zusammen draufgucken, wie sich das am besten integrieren lässt.

https://github.com/thunfischtoast/MS-Event-Scrapy

[ubergesundheit]

Hab dich mal in die organisation eingeladen, wenn du willst gerne deinen code hier einziehen lassen oder analog zu https://github.com/codeformuenster/mein-ms-wfs-importer ein eigenes repo erstellen