search

isaqb-org / curriculum-swarc4ai

Curriculum of the iSAQB® Advanced Module SWARC4AI
2 stars 1 forks source link

Lernziel 2-14 Beispiele für die Safety-Problematik ergänzen #13

Closed mattes3 closed 1 week ago

mattes3 commented 1 month ago

In Lernziel 2-14 steht:

Kennen die Grundproblematik und die verschiedenen Facetten von AI-Safety.

Ich finde das etwas zu allgemein. Ein paar Beispiele für diese Problematik könnten helfen (z.B. generative AI darf keinen Plan für die Durchführung eines Verbrechens liefern, Bildgenerierung darf keine verstörenden Bilder liefern, etc.)

Es wäre auch gut, ein paar Beispiele für die verschiedenen Bedeutungen des Wortes Safety im AI-Kontext zu haben. Safety für wen? Den Benutzer? Den Entwickler? Den Betreiber? Die Gesellschaft?

mahboubagharbi commented 1 month ago

Das sollten aus meiner Sicht die Anbieter ausarbeiten.

mattes3 commented 1 month ago

Das ist mir zu ungenau. Wenn schon keine Beispiele, dann sollte wenigstens da stehen, was Safety im AI-Kontext heißen soll.

mahboubagharbi commented 1 month ago

Ich sehe das weiterhin Aufgabe des Anbieters. Im Kern dreht sich AI Safety darum, KI-Systeme so zu gestalten, dass sie in der Praxis sicher, fair und verantwortungsbewusst eingesetzt werden können, ohne unkontrollierbare Risiken zu schaffen.

magnusse commented 1 month ago

In Lernziel 2-14 steht:

Kennen die Grundproblematik und die verschiedenen Facetten von AI-Safety.

Ich finde das etwas zu allgemein. Ein paar Beispiele für diese Problematik könnten helfen (z.B. generative AI darf keinen Plan für die Durchführung eines Verbrechens liefern, Bildgenerierung darf keine verstörenden Bilder liefern, etc.)

Es wäre auch gut, ein paar Beispiele für die verschiedenen Bedeutungen des Wortes Safety im AI-Kontext zu haben. Safety für wen? Den Benutzer? Den Entwickler? Den Betreiber? Die Gesellschaft?

Ich denke auch, dass wie nicht vorgeben sollten, welche Aspekte genau zu AI-Safety betrachtet werden sollen (das ist Inhalt der Schulung). Wir könnten höchsten "bspw. AI model risks like poisining, Bias etc.)" hinzufügen, ich würde es aber möglichst offen lassen, weil sich das Feld momentan auch noch entwickelt und es sich häufiger ändern wird.

magnusse commented 4 weeks ago

Ich habe Beispiele ergänzt.