pronguen
commented
8 years ago Hallo Sebastian,
Ich habe zuerst das Problem der Generierung der subject-URI analysiert.
SUBJECT-URI
Ich habe drei Problemarten identifiziert (siehe auch die angehängte Datei):
- A: Die Basisdaten sind richtig, aber die Morph-Transformation hat eine fehlerhafte URI generiert.
- B: Die Basisdaten sind faslch, deshalb ist die URI auch fehlerhaft.
- C: Ich habe die ursprüngliche Aufnahme nicht finden können.
Bemerkungen:
- Als Basisdaten habe ich die aktuellen Swissbib-Daten in MARC/XML gesucht, via SRU-Schnittstelle.
- Zur Problemart A: Die Transformation fügt Strings in die ID hinzu. Diese Strings nimmt sie irgendwo in anderen (oder in dieser) Aufnahmen. Z.B.: "650 7" (ein Feldnummer), "4020310-4" (eine GND-Nummer)
- Zur Problemart B: Zwei Fälle: (1) die GND-Nr. wird mit anderen Zeichen aus anderen Aufnahmen gemischt; (2) die GND-Nr. wird abgekürzt. Die Daten sind auch falsch in den Records der Verbünde (hauptsächlich NEBIS: 12/14); das Problem liegt also nicht bei Swissbib.
Schluss
- Problemart A liegt bei Swissbib, Problemart B bei den Verbünden
- Lösungen: regex verändern (z.B. ")(\d\d\d\d\d\d\d\d?\d?\d?-?\d?)" - habe ich nicht mit verschiedenen Fällen getestet), weitere Tests durchführen, Fehler zu den Verbünden mitteilen
ITEM-LINK
Die 8 Beispiele mit fehlerhaften Item-Links, die Du geschickt hast, stammen aus RERO. In den Swissbib MARC/XML-Daten existiert das Feld 035 zweimal: einmal mit dem ungewünschten String (z.B. "(RERO)R003560922(Bd.1)") und einmal ohne ("(RERO)R003560922")! In den Ursprungsdaten (bei RERO) sind die Daten jedoch richtig, mit einem einzigen 035 Feld. Beispiele:
Schluss
- Das Problem geschieht zwischen der Datenlieferung von den Verbünden und dem Output in Swissbib für die RDF-Transformation, also bei Swissbib.
- Zu vertiefen: wo genau liegt das Problem?
sschuepbach
Hallo Nicolas
@fxbensmann hat bei einer Transformation bemerkt, dass gewisse URI in unserem aktuellen Workflow falsch generiert werden (s. u). Soweit ich das sehe, tritt das Problem an zwei Stellen auf:
Beim ersten Fall bin ich nicht sicher, ob es sich um einen Fehler in der Morph-Definition handelt - Whitespaces müssten dann immer durch valide URI-Zeichen ersetzt werden - oder um eine fehlerhafte Katalogisierung - Strings wie
Academiae Scientiarum Rei Publicae Democraticae Germanicaedürften also im entsprechenden MARC-Feld gar nicht vorkommen. Kannst du mir da weiterhelfen? Der zweite Fall scheint ähnlich gelagert zu sein. Im Feld 949 .E gibt es offenbar zuweilen Strings, die mehr enthalten als nur die Systemnummer (bspw.:R003560922 (Bd. 1)). Auch hier die Frage: Müsste in unseren Metamorph-Definitionen ein Filter eingebaut werden, der solche zusätzlichen Tokens filtert, oder handelt es sich grundsätzlich um ungültige Strings, die ignoriert werden sollten?