search

codeformuenster / muenster-dashboard

Eine "Stadtviertel-App", zeigt Infos aus Deiner Umgebung an, aus Open Data Datensätzen der Stadt Münster.
https://mein-ms.de/
Apache License 2.0
7 stars 4 forks source link

Events nur bis gestern #59

Open tomsrocket opened 5 years ago

tomsrocket commented 5 years ago

Es scheint einen Bug im Events importer zu geben, in der Elasticsearch-DB sind immer nur vergangene Events bis gestern drin, siehe z.B.: https://kibana.codeformuenster.org/goto/929edeca441409a9f7d0b35186506762

thunfischtoast commented 5 years ago

Kann ich grade nicht bestätigen. Wann kam das genau vor? Langfristig wäre es jedoch wahrscheinlich eh besser, Events, die später als heute anfangen, abzufragen (ist im Importer nur 1 Parameter) und dann den Nutzer auswählen zu lassen, welche Startdaten er/sie angezeigt bekommen möchte.

thunfischtoast commented 5 years ago

Aktueller Aufruf (so ähnlich): scrapy crawl EventsSpider -o events.json -a [start=today] wobei das in den eckigen Klammern optional ist

Folgendes ist auch möglich: scrapy crawl EventsSpider -o events.json -a start=26.07.2018 -a end=05.08.2018

tomsrocket commented 5 years ago

OK! Dann müsste man für den Cronjob Aufruf-Befehl irgendwie diese beide Datums erzeugen.. @webwurst geht das? Oder sollen wir dann dafür besser noch ein bash script oder sowas schreiben?

thunfischtoast commented 5 years ago

Ich könnte den Importer auch um das Feature erweitern, eine Spanne von Tagen ab "heute" anzugeben. In Python ist das Erzeugen der richtigen Daten wahrscheinlich einfacher als im Bash Script.

thunfischtoast commented 5 years ago

@tomsrocket @webwurst Das Feature mit der Zeitspanne ist jetzt im Scraper drin. Mit dem zusätzlichen Parameter "-a window=3" kann man eine Anzahl von Tagen angeben, welche nach dem Startdatum noch berücksichtigt werden, also z.B. alle Veranstaltungen heute und bis zu 3 Tagen in die Zukunft.