Verständnisfrage zur Bewertung

[Andreas-Englisch]

Im BIK BITV-Test können einzelne Kriterien nur als "erfüllt" und "nicht erfüllt" bewertet werden, andere hingegen zusätzlich mit 3 weiteren Abstufungen (https://bitvtest.de/test-methodik/web/beschreibung-des-pruefverfahrens)

Woran erkenne ich bei den Prüfschritten, wie sie bewertet werden können?

Beispiel:

• 9.1.3.2: Hier wird nur "erfüllt" und "nicht erfüllt" genannt, aber die Beschreibung der Bewertung ("weniger als 50%", "zu mindestens 90%") deutet daraufhin, dass auch die Zwischenstufen erlaubt sind
• 9.1.3.1: Auch hier wird nur "erfüllt" und "nicht erfüllt" genannt und da die Sprache nur korrekt ausgezeichnet sein kann oder eben nicht, scheint es sinnvoll, dass es nur die zwei Bewertungsalternativen gibt (obwohl selbst das nur auf den ersten Blick so offensichtlich klar zu sein scheint, denn wäre ein "en-US" bei einer australischen Seite ("en-AU") besser nur "eher erfüllt" statt "erfüllt" oder "nicht erfüllt?)
• 9.2.5.3: Hier wird nur "erfüllt" genannt und mir ist unklar, ob alle Verstöße dann "nicht erfüllt" sind oder abgestuft bewertet werden dürfen
• 9.2.4.7: Hier wird neben "erfüllt" und "nicht erfüllt" auch das m.E. nirgendwo definierte "nicht voll erfüllt" genannt und mir ist unklar, was damit gemeint ist: alles zwischen "eher erfüllt" und "eher nicht erfüllt"?

[johannesFischer84]

Andreas, die Hinweise in den Bewertung-Abschnitten sehe ich allgemein nur als Anhaltspunkt, damit man ein Gefühl dafür bekommt, wie man an die Bewertung herangehen sollte. Vom Einzelfall abhängig kann man aus meiner Sicht alle Bewertungsstufen vergeben, selbst wenn diese nicht direkt erklärt sind. Das "nicht voll erfüllt" gibt eine Spannweite von "eher erfüllt" bis "eher nicht erfüllt" oder sogar bis "nicht erfüllt" an. Das kommt dann auf den Einzelfall an, wie man genau bewertet.

Beispiel: Bei der Hauptsprache (WCAG 3.1.1) kann es vermutlich nicht viel mehr als erfüllt / nicht erfüllt geben. Ob ein US-amerikanisches Englisch oder australisches Englisch in der einen oder anderen Richtung wirklich Nachteile und damit Bewertungsunterschiede bringt, kann ich nicht beurteilen, würde aber vom Gefühl her zu Nein tendieren. Nichtsdestotrotz könnte man ein "eher erfüllt" dafür vergeben, wenn man den Eindruck hat bzw. weiß, dass es etwas ausmacht.

[Andreas-Englisch]

Hallo Johannes, Danke für Deine Antwort!

In der Beschreibung des Prüfverfahrens steht:

Für einige wenige Prüfschritte sind nur die beiden Bewertungsalternativen "erfüllt" und "nicht erfüllt" vorgesehen

Ich bin davon ausgegangen, dass diese Prüfschritte klar definiert sind. Vielleicht wurde nur vergessen, dies zu dokumentieren?

[johannesFischer84]

Ja, stimmt, zumindest in der Vergangenheit gab es diesen Fall, beispielsweise bei WCAG-Kriterium 4.1.1. Je mehr ich dieses Kriterium geprüft habe, umso eher war ich aber auch hier der Meinung, dass "eher erfüllt" auch möglich sein sollte. Die klare Definition, welche Stufen man vergeben "darf", ist mit den Jahren in den Prüfschrittbeschreibungen eher herausgefallen, glaube ich.

"erfüllt" und "nicht erfüllt" entspricht ja quasi den WCAG-Bewertungen "konform" und "nicht konform", und mehr gibt es in den WCAG auch nicht. Daran versuche ich mich im Grunde in allen Prüfungen zu orientieren. Aber wenn man noch etwas durchgehen lassen kann, ist es dann eben "eher erfüllt". Ob man dann noch "teilweise erfüllt", "eher nicht erfüllt" und "nicht erfüllt" abstuft, bringt aus meiner Sicht in den meisten Fällen wenig Mehrwert.