Automatische Linkprüfung?

[j3nsch]

OPUS 4-Dokumente verweisen manchmal auf Volltexte auf anderen Servern, z.B. wenn die Dokumente Teil der Hochschulbibliographie sind. Wäre eine automatische Prüfung dieser Links machbar? Wann sollten die Links geprüft werden, wie oft? Was ist dabei zu berücksichtigen?

Vielleicht wäre es sinnvoll einmal im Monat automatisch und manuell jederzeit zu prüfen.

Wann funktioniert der Link noch? Wenn der Request ohne Fehler beantwortet wird? Wenn der Inhalt der Antwort stimmt? Was ist mit Links, die direkt zu Downloads führen?

[CAWinter]

Wir haben bereits Versuche am Laufen mit Linkcheckern, die regelmäßig die Inhalte von identifier.url prüfen. Problematisch ist dabei unserer Erfahrung nach folgendes:

• URLs stehen nicht nur in identifier.url sondern auch oft in Enrichment-Feldern, das müsste eventuell konfiguriert werden können
• Wenn die Link-Prüfung von einem unserer Rechner aus läuft (z.b. mit curl oder linkchecker ), dann erkennen kommerzielle Anbieter dies als Crawler bzw. als automatischen Aufruf von einer einzelnen IP-Adresse und sperren die IP, es kommt dann zu einem HTTP-Code 403. Das ist vor allem der Fall, wenn eine Opus-Anwendung auf viele Url eines einzelnen Anbieters verweist.
• Manche Links sind nur im Campus-Bereich freigeschaltet, eine Linkprüfung von einem Opus-Server ist daher nicht aussagekräftig.
• Cookie-Handling ist unter Umständen nötig.
• Manchmal gibt es etliche Weiterleitungen. Wie geht man damit um?

Wir haben abgefragt, ob der zurückgelieferte HTTP-Code ein gültiger ist - und eine Liste hinterlegt. Aber das allein wird nicht ausreichend sein. Allerdings erscheint es uns dies besser, als keine Prüfung.