Gezielte Modellbewertung

Wie eine gezielte Modellbewertung tatsächlich abläuft

Vor der eigentlichen Prüfung wird festgelegt, welche Fragestellung die Organisation beantwortet haben will — etwa, ob ein Modell für einen bestimmten Anwendungsfall robust genug ist. Diese Fragestellung bestimmt die Testfälle, nicht umgekehrt.

Die Prüfung selbst kombiniert erwartete Eingaben mit gezielt schwierigen Fällen, um Schwächen sichtbar zu machen, die im normalen Betrieb selten auftreten, aber im Ernstfall relevant sind.

Der Abschlussbericht listet Ergebnisse je Kriterium auf und benennt ausdrücklich die Grenzen der Aussage — etwa, dass ein bestandener Test kein Beleg für Verhalten ausserhalb der geprüften Fälle ist.

Was enthalten ist

• Testfälle werden gemeinsam mit der Organisation entwickelt, statt ein generisches Testset zu verwenden.
• Die Evaluation deckt sowohl erwartete als auch gezielt herausfordernde Eingaben ab.
• Der Abschlussbericht benennt ausdrücklich, welche Aussagen er nicht trifft.

Bedingungen

• Der Zeitplan hängt von der Verfügbarkeit des zu prüfenden Modells und der Testinfrastruktur ab.
• Änderungen am vereinbarten Prüfumfang während des Projekts werden schriftlich als Nachtrag festgehalten.
• Eine Prüfung mit produktiven Testdaten beginnt erst nach Unterzeichnung der Vertraulichkeits- und Auftragsverarbeitungsvereinbarung.

Nutzungsbedingungen, Berichtsrechte und Kündigungsregeln stehen in den AGB; Angaben zu KI-Grenzen und menschlicher Prüfung stehen in der KI-Transparenz.