search

mfdz / zhv-issues

(Inoffizieller) Issue-Tracker zum zentralen Haltestellenverzeichnis (zHV) des DELFI e.V.
13 stars 0 forks source link

Fehlerhaftes Encoding (ä ö ü) für Name/Description #18

Open hbruch opened 2 years ago

hbruch commented 2 years ago

zHV_aktuell_csv.YYY-MM-DD.csv ist grundsätzlich UTF-8 kodiert. Allerding werden viele Name/Description Werte mit korrupten Umlauten (z.B. ä ö ü) ausgegeben. Mutmaßlich werden bei der Übernahme von Datenlieferanten Angaben bereits in UTF-8 geliefert, jedoch als ISO-8859-1 angenommen und nochmals in UTF-8 konvertiert.

Dieser Fehler ist mutmaßlich auf eine im Februar/März 2022 erfolgte Änderung in Daten abgebenden Systemen oder der Import-Schnittstelle zurückzuführen, da die Zahl der betroffenen Einträge seit März stark angestiegen ist:

$ grep à zHV_aktuell_csv.2022-06-13.csv | wc
    1741    4881  270460
$ grep à zHV_aktuell_csv.2022-03-07.csv | wc
      70     179   11301

Im März waren (von einem Eintrag mit Authority VMT abgesehen, ausschließlich NVBW-Einträge betroffen, Stand 13.6. darüberhinaus mehr als 1000 VRR-Einträge)

Darüber hinaus schlage ich vor, in der begleitenden Beschreibung_ZHV-Datensatz_csv_YYYYMMDD.pdf die Kodierung der CSV-Datei explizit anzugeben.

Stand der Daten zHV: 13.06.2022

CM-RMS commented 2 years ago

Wir haben das an die Verantwortlichen Organisationen weitergegeben mit der bitte um Prüfung und ggfs zur Korrektur. Viele Grüße DELFI e.V.

hbruch commented 1 year ago

Im Datensatz vom 28.11.2022 sind nur noch vereinzelte Halte betroffen:

grep à zHV_aktuell_csv.2022-11-28.csv
"7443";"Q";"de:08116:2062:0:5";"de:08116:2062";"Steig gibt es nicht --> löschen";"48,604228";"9,222698";"00000000";"-";"-";"-";"Unserved";"OutOfOrder";"";"NVBW";"-";"-";"-"
"8435";"Q";"de:08116:3938:0:3";"de:08116:3938";"eRtg Neckarbrücke";"48,611326";"9,278204";"00000000";"-";"-";"-";"Served";"OutOfOrder";"";"NVBW";"-";"-";"-"
"17292";"Q";"de:08119:38:2:5";"de:08119:38:2";"Ersatzhst Rtg Mozartstraße";"48,813859";"9,2725";"00000000";"-";"-";"-";"Unserved";"OutOfOrder";"";"NVBW";"-";"-";"-"
"515428";"Q";"de:05158:13955:2:2";"de:05158:13955:2";"Ri. Sinterstraße";"51,218583";"7,006581";"00000000";"-";"-";"-";"Unserved";"InOrder";"";"VRR";"-";"-";"-"
"515693";"Q";"de:05158:18635:0:2";"de:05158:18635";"Ri. Dorfstraße";"51,2958";"6,866812";"00000000";"-";"-";"-";"Served";"OutOfOrder";"";"VRR";"-";"-";"-"
"515700";"Q";"de:05158:18636:0:2";"de:05158:18636";"Ri. Dorfstraße";"51,295266";"6,870881";"00000000";"-";"-";"-";"Served";"OutOfOrder";"";"VRR";"-";"-";"-"
"517027";"Q";"de:05158:19447:2:2";"de:05158:19447:2";"Ri. Hösel S";"51,329103";"6,907272";"00000000";"-";"-";"-";"Unserved";"InOrder";"";"VRR";"-";"-";"-"
"517032";"Q";"de:05158:19448:1:1";"de:05158:19448:1";"Ri. Hösel";"51,330343";"6,908997";"00000000";"-";"-";"-";"Unserved";"InOrder";"";"VRR";"-";"-";"-"
"517041";"Q";"de:05158:19449:2:2";"de:05158:19449:2";"Ri. Hösel S";"51,327761";"6,903679";"00000000";"-";"-";"-";"Unserved";"InOrder";"";"VRR";"-";"-";"-"
"517048";"Q";"de:05158:19450:2:2";"de:05158:19450:2";"Ri. Hösel S";"51,323978";"6,89916";"00000000";"-";"-";"-";"Unserved";"InOrder";"";"VRR";"-";"-";"-"
"517055";"Q";"de:05158:19451:2:2";"de:05158:19451:2";"Ri. Hösel";"51,322906";"6,89527";"00000000";"-";"-";"-";"Unserved";"InOrder";"";"VRR";"-";"-";"-"
"517062";"Q";"de:05158:19452:2:2";"de:05158:19452:2";"Ri. Hösel";"51,318117";"6,884823";"00000000";"-";"-";"-";"Unserved";"InOrder";"";"VRR";"-";"-";"-"
"517932";"Q";"de:05158:19749:0:2";"de:05158:19749";"Ri. Weststraße";"51,293789";"6,850418";"00000000";"-";"-";"-";"Unserved";"OutOfOrder";"";"VRR";"-";"-";"-"

Da VMT nicht mehr betroffen ist, entferne ich das VMT Tag.

Damit sind 463708 Masten im Datensatz enthalten (gegenüber der im Begleit-pdf genannten Anzahl von ca. 416.400 Masten).

hbruch commented 1 year ago

Im Datensatz vom 4.9.2023 sind nur noch Halte des VRR betroffen. Ich entferne daher das NVBW Tag.

grep à data/zHV_aktuell_csv.2023-09-04.csv
"473275";"Q";"de:05158:13955:2:2";"de:05158:13955:2";"Ri. Sinterstraße";"51,218583";"7,006581";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";"1999-12-31T00:00:00"
"473550";"Q";"de:05158:18635:0:2";"de:05158:18635";"Ri. Dorfstraße";"51,2958";"6,866812";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";"1999-12-31T00:00:00"
"473557";"Q";"de:05158:18636:0:2";"de:05158:18636";"Ri. Dorfstraße";"51,295266";"6,870881";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";"1999-12-31T00:00:00"
"474897";"Q";"de:05158:19447:2:2";"de:05158:19447:2";"Ri. Hösel S";"51,329103";"6,907272";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";"1999-12-31T00:00:00"
"474902";"Q";"de:05158:19448:1:1";"de:05158:19448:1";"Ri. Hösel";"51,330343";"6,908997";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";"1999-12-31T00:00:00"
"474911";"Q";"de:05158:19449:2:2";"de:05158:19449:2";"Ri. Hösel S";"51,327761";"6,903679";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";"1999-12-31T00:00:00"
"474918";"Q";"de:05158:19450:2:2";"de:05158:19450:2";"Ri. Hösel S";"51,323978";"6,89916";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";"1999-12-31T00:00:00"
"474925";"Q";"de:05158:19451:2:2";"de:05158:19451:2";"Ri. Hösel";"51,322906";"6,89527";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";"1999-12-31T00:00:00"
"474932";"Q";"de:05158:19452:2:2";"de:05158:19452:2";"Ri. Hösel";"51,318117";"6,884823";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";"1999-12-31T00:00:00"
"475804";"Q";"de:05158:19749:0:2";"de:05158:19749";"Ri. Weststraße";"51,293789";"6,850418";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";"1999-12-31T00:00:00"
hbruch commented 7 months ago

Im Datensatz vom 4.3.2024 verbleiben weiterhin 10 falsch formatierte Haltestellen im Kreis Mettmann (VRR-Gebiet):

 grep à data/zhv.csv
"530729";"Q";"de:05158:13955:2:2";"de:05158:13955:2";"Ri. Sinterstraße";"51,218583";"7,006581";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"531033";"Q";"de:05158:18635:0:2";"de:05158:18635";"Ri. Dorfstraße";"51,2958";"6,866812";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"531040";"Q";"de:05158:18636:0:2";"de:05158:18636";"Ri. Dorfstraße";"51,295266";"6,870881";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"532470";"Q";"de:05158:19447:2:2";"de:05158:19447:2";"Ri. Hösel S";"51,329103";"6,907272";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"532475";"Q";"de:05158:19448:1:1";"de:05158:19448:1";"Ri. Hösel";"51,330343";"6,908997";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"532484";"Q";"de:05158:19449:2:2";"de:05158:19449:2";"Ri. Hösel S";"51,327761";"6,903679";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"532491";"Q";"de:05158:19450:2:2";"de:05158:19450:2";"Ri. Hösel S";"51,323978";"6,89916";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"532498";"Q";"de:05158:19451:2:2";"de:05158:19451:2";"Ri. Hösel";"51,322906";"6,89527";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"532505";"Q";"de:05158:19452:2:2";"de:05158:19452:2";"Ri. Hösel";"51,318117";"6,884823";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"533397";"Q";"de:05158:19749:0:2";"de:05158:19749";"Ri. Weststraße";"51,293789";"6,850418";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
CM-RMS commented 7 months ago

Wir haben das an die Verantwortlichen Organisationen weitergegeben mit der bitte um Prüfung und ggfs Korrektur. Viele Grüße DELFI e.V.

hbruch commented 2 months ago

Im Datensatz vom 19.08.2024 finden sich weiterhin die folgenden Haltestellen mit fehlerhafter Kodierung:

grep à data/zhv.csv
"505886";"Q";"de:05111:18114:0:7";"de:05111:18114:7";"723 Ri. Plange Mühle";"51,201104";"6,75472";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"507929";"A";"de:05111:18520:1";"de:05111:18520";"für Steig 1";"51,270993";"6,759652";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"507930";"A";"de:05111:18520:2";"de:05111:18520";"für Steig 2";"51,271117";"6,759634";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"507931";"A";"de:05111:18520:3";"de:05111:18520";"für Steig 3";"51,270959";"6,7609";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"507932";"A";"de:05111:18520:4";"de:05111:18520";"für Steig 4";"51,271089";"6,760784";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"508887";"A";"de:05111:18728:1";"de:05111:18728";"für Steig 1";"51,271235";"6,766236";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"508888";"A";"de:05111:18728:2";"de:05111:18728";"für Steig 2";"51,271375";"6,766245";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"534291";"Q";"de:05158:13955:2:2";"de:05158:13955:2";"Ri. Sinterstraße";"51,218583";"7,006581";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"534604";"Q";"de:05158:18635:0:2";"de:05158:18635";"Ri. Dorfstraße";"51,2958";"6,866812";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"534611";"Q";"de:05158:18636:0:2";"de:05158:18636";"Ri. Dorfstraße";"51,295266";"6,870881";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"536168";"Q";"de:05158:19447:2:2";"de:05158:19447:2";"Ri. Hösel S";"51,329103";"6,907272";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"536173";"Q";"de:05158:19448:1:1";"de:05158:19448:1";"Ri. Hösel";"51,330343";"6,908997";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"536182";"Q";"de:05158:19449:2:2";"de:05158:19449:2";"Ri. Hösel S";"51,327761";"6,903679";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"536189";"Q";"de:05158:19450:2:2";"de:05158:19450:2";"Ri. Hösel S";"51,323978";"6,89916";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"536196";"Q";"de:05158:19451:2:2";"de:05158:19451:2";"Ri. Hösel";"51,322906";"6,89527";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"536203";"Q";"de:05158:19452:2:2";"de:05158:19452:2";"Ri. Hösel";"51,318117";"6,884823";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
"537320";"Q";"de:05158:19749:0:2";"de:05158:19749";"Ri. Weststraße";"51,293789";"6,850418";"00000000";"-";"-";"-";"";"VRR";"-";"-";"-";""
CM-RMS commented 2 months ago

Wir haben dem VRR Bescheid gegeben mit der Bitte zur Korrektur.