MDV: Download durch User-Agent curl blockiert

mfdz / GTFS-Issues

Documentation and Tracking of Issues in GTFS- and GTFS-RT Feeds

35 stars 3 forks source link

MDV: Download durch User-Agent curl blockiert #54

Open hbruch opened 3 years ago

hbruch commented 3 years ago

Art der Abweichung Anfragen durch den curl client (bzw. konkret mit User-Agent: curl) werden blockiert und mit 403 beantwortet.

Referenz http://gtfs.org/best-practices/#dataset-publishing--general-practices

Downloadlink der GTFS-Daten: curl -X GET -k -i 'https://www.mdv.de/site/uploads/gtfs_mdv.zip'

hbruch commented 3 years ago

Auf Benachrichtigungen an den MDV am 20.09.2020, an govdata at sk.hamburg.de am 21.09.2020, daten at mdv.de am 25.9.2020. Erneute Nachfrage am 19.12.2020.

KristjanESPERANTO commented 2 years ago

Der Zustand hat sich leider noch nicht geändert.

Solang es mit curl nicht funktioniert, könnte man das Archiv mit lynx herunterladen:

lynx -source 'https://www.mdv.de/site/uploads/gtfs_mdv.zip' > gtfs_mdv.zip

hbruch commented 2 years ago

Auskunft von GovData zur Anfrage:


vielen Dank für Ihre Anfrage.

Die Anfragen können wie folgt gestellt werden:

$ curl -A Mozilla -o gtfs_mdv.zip
https://www.mdv.de/site/uploads/gtfs_mdv.zip
bzw.
$ wget -U Mozilla https://www.mdv.de/site/uploads/gtfs_mdv.zip

Die Daten werden zentral aus den aktuellen Auskunftsdaten des INSA-Systems erzeugt und auf die Plattform gelegt. Die Datenlieferanten (Verkehrsunternehmen) haben keinen direkten Zugriff auf die Erzeugung und Bereitstellugsprozesse des GTFS-Datensatzes. Veröffentlicht wird jeweils die aktuellste Datei. Der Zugang wird nicht explizit begrenzt.“
``

KristjanESPERANTO commented 2 years ago

Oh, das ist so noch besser als mit lynx. Danke :-) Dann könnten wir diesen Issue auch schließen, oder?

hbruch commented 2 years ago

Ich sehe die Angabe des user-agent headers eher als work-around denn als originäre Problemlösung und würde den issue daher offen halten. Evtl stolpert ja noch jemand drüber…