Wenn Software nicht mehr berechenbar ist

Ein Testfall, ein erwartetes Soll-Ergebnis, ein klarer Vergleich: So funktioniert klassisches Softwaretesting seit Jahrzehnten. Doch der Einsatz von KI in Produktivsystemen verändert die Grundlagen der Softwareentwicklung und Qualitätssicherung fundamental. Klassische Testmethoden, die auf Reproduzierbarkeit und exakter Übereinstimmung basieren, stoßen an ihre Grenzen. Wie lässt sich die Qualität von Software sichern, die per Design nicht vorhersehbar ist? Welche Ansätze sind geeignet, um KIs zu testen, ohne dabei in Beliebigkeit zu verfallen?

Der Verlust der Eindeutigkeit im Softwaretest

Klassische Software funktioniert deterministisch. Bei gleichen Eingaben erzeugt sie stets identische Ausgaben. Dieses vorhersagbare Verhalten ermöglicht klare Soll-Ist-Vergleiche und eindeutige Testergebnisse. Ein Testfall ist bestanden oder nicht bestanden.

KIs verhalten sich grundlegend anders. Selbst bei identischem Prompt können Antworten variieren (nicht-deterministisch). Beeinflusst durch interne Wahrscheinlichkeitsberechnungen und den jeweiligen Kontext, wählt das System aus einer Vielzahl möglicher Formulierungen. Es existiert dabei nicht eine eindeutig richtige Antwort, sondern ein Spektrum fachlich akzeptabler Antworten. Diese nicht-deterministische Natur durchbricht das klassische Testvorgehen vollständig.

Tests für KIs sind daher überwiegend bewertend. Sie prüfen nicht, ob eine Antwort korrekt ist, sondern ob sie ausreichend gut ist. Das Testen wird dadurch erweitert und es braucht angepasste Ziele, Methoden und Metriken.

Warum KI nicht verifiziert werden kann

Die veränderte Natur von KI-Systemen zwingt uns, unser Testverständnis anzupassen. Im Zentrum dieser Veränderung stehen zwei Begriffe: Verifikation und Validierung.

Verifikation fragt: „Haben wir das Produkt richtig gebaut?“ Sie prüft die Übereinstimmung mit Spezifikationen durch objektive, messbare Kriterien. Bei klassischer Software ist sie zentral. Unit-Tests, Integrationstests, Regressionstests überprüfen alle exakte Übereinstimmung mit definierten Erwartungen.

Validierung hingegen fragt: „Haben wir das richtige Produkt gebaut?“ Sie bewertet, ob das System den tatsächlichen Nutzerbedürfnissen entspricht, auch wenn diese nicht vollständig spezifizierbar sind. Bei klassischer Software ergänzt sie die Verifikation durch Akzeptanztests und Usability-Prüfungen.

Bei KIs ist eine Verifikation im klassischen Sinne nicht mehr möglich, da kein eindeutiges Soll-Ergebnis definierbar ist. Validierung tritt damit in den Vordergrund der Qualitätssicherung von KI-Systemen. Ob Antworten angemessen, nützlich und sicher sind, wird bewertet durch menschliches Urteil, automatisierte Metriken wie semantische Ähnlichkeit oder durch KIs selbst als Evaluatoren.

In der Praxis bestehen die meisten Systeme aus einer Kombination klassischer, deterministischer Software und KI-Komponenten. Während die umgebende IT weiterhin verifiziert werden kann, muss die KI selbst validiert werden. Qualitätssicherung in KI-Systemen ist daher kein Ersatz, sondern eine Erweiterung klassischer Testansätze.

Die Erweiterung des Qualitätsrahmens von ISO 25010 durch die ISO 25059

Wenn Qualität nicht mehr über die Übereinstimmung mit einer Referenzantwort bestimmt werden kann, benötigen wir einen systematischen Rahmen zur Bewertung. Die zentrale Frage lautet: Was bedeutet eigentlich „Qualität“ bei KI-Systemen, und welche Merkmale müssen validiert werden?

Seit 2011 definiert die ISO/IEC 25010 ein etabliertes Qualitätsmodell für Software mit acht, seit 2023 mit neun Hauptmerkmalen: funktionale Eignung, Leistungsfähigkeit, Kompatibilität, Interaktionsfähigkeit, Zuverlässigkeit, funktionale Sicherheit, Instandhaltbarkeit und Anpassungsfähigkeit, Betriebssicherheit. Das Modell basiert auf der SQuaRE-Methodik (Systems and software Quality Requirements and Evaluation).

Speziell für KI-Systeme konkretisiert die ISO/IEC 25059 dieses Qualitätsmodell. Sie erweitert es nicht um ein eigenständiges Modell, sondern interpretiert die bestehenden Qualitätsmerkmale im Kontext von KI. Dabei wird berücksichtigt, dass KI-Systeme lernen, sich anpassen, mit unvollständigen Daten umgehen und wahrscheinlichkeitsbasiert arbeiten. Besonders hervorzuheben sind KI-spezifische Aspekte wie Transparenz, Robustheit, funktionale Anpassbarkeit und Eingreifbarkeit.

Merksatz: ISO 25010 definiert das Qualitätsmodell (Struktur und Merkmale), ISO 25059 erweitert es um KI-spezifische Bewertungskriterien.

Diese Matrix dient als Kompass für die Qualitätssicherung: Sie hilft zu bestimmen, welche Merkmale im konkreten Anwendungsfall relevant sind. Die Priorisierung erfolgt risikobasiert. Je höher das Risiko eines KI-Systems, desto mehr Fokus und Aufwand müssen in kritische Qualitätsmerkmale investiert werden. Dabei steht nicht die Frage im Vordergrund, WIE getestet wird, sondern zunächst WAS validiert werden muss.

Die Programmierung der KI-Aufrufe und die Einbindung der KI, ob über einen Cloud Provider oder einer lokalen Installation, unterliegen den Qualitätsmerkmalen der “klassischen” Softwareentwicklung und damit dem Test auf die Teilmerkmale der ISO 25010. Die KI soll gegen die Teilmerkmale der ISO 25059 getestet werden.

Risikobasierte Qualitätspriorisierung: Zwei Szenarien

Wie stark sich unterschiedliche Risikoklassen auf die Qualitätssicherung auswirken, wird an zwei Beispielen deutlich.

Medizintechnik mit KI-gestützter Chirurgierobotern

Ein autonomer Operationsroboter analysiert mittels KI Gewebe und plant Schnittführungen. Er fällt unter die höchste Risikoklasse des EU AI Act, denn ein Fehler kann zu irreversiblen Schäden oder zum Tod führen: das Qualitätsmerkmal Safety ist im Fokus.

Die Anforderungen sind extrem hoch und enthalten umfassende Konformitätsbewertungen, technische Dokumentation, kontinuierliches Risikomanagement sowie menschliche Überwachung. Besonders kritisch ist die Erkennung von Verzerrungen in den Trainingsdaten. Sind bestimmte Patientengruppen unterrepräsentiert, kann die KI dort versagen. Der Testaufwand fällt entsprechend hoch aus und muss alle regulatorischen Anforderungen vollständig abdecken.

Wissenschafts-Chatbot für Literaturrecherche

Ein deutlich geringeres Risiko birgt ein universitärer Chatbot, der Studierenden bei der Quellensuche hilft. Fehlerhafte Quellenangaben sind zwar ärgerlich, aber nicht lebensbedrohlich. Hier konzentrieren sich die Anforderungen auf funktionale Eignung, Transparenz und Benutzbarkeit.

Verzerrungen spielen eine untergeordnete Rolle, solange die Quellenvielfalt gewährleistet bleibt. Proportional zum niedrigeren Risiko reichen schlankere Testansätze aus, und der Testaufwand reduziert sich erheblich. Die konkrete Methodenwahl bleibt dem jeweiligen Entwicklungsteam überlassen und orientiert sich an den priorisierten Qualitätsmerkmalen.

Vom „WAS“ zum „WIE“: Risikobasierte Methodenwahl

Für die Validierung von KI-Systemen existiert mittlerweile ein breites Spektrum an Testansätzen, von automatisierten Bewertungen über statistische Analysen bis hin zu menschlicher Evaluierung. Die Vielfalt ist groß: LLM-basierte Bewertungen, Human-in-the-Loop-Verfahren, metamorphe Tests, Golden Sets/Ground Truth  oder stochastische Analysen sind nur einige Beispiele.

Entscheidend ist jedoch nicht die vollständige Anwendung aller verfügbaren Methoden, sondern die gezielte Auswahl. Diese richtet sich nach:

• der Risikoeinschätzung des Systems
• den priorisierten Qualitätsmerkmalen aus ISO 25010/25059
• den regulatorischen Anforderungen des Anwendungsbereichs
• den verfügbaren Ressourcen und der Projektphase.

Es gibt kein universelles Testrezept für KI-Systeme. Jede Organisation muss basierend auf ihrem spezifischen Kontext entscheiden, welche Kombination von Ansätzen angemessen und ausreichend ist. Dabei sollte besonders für die Integration der KI-Systeme eine Überprüfung der Teilmerkmale aus der ISO 25010 in die Teststrategien mit einbezogen werden.

Schlussfolgerung

Die Qualitätssicherung von KI-Systemen erfordert ein grundlegendes Umdenken. Testen bleibt aber, wenn auch nicht unbedingt in der klassischen Form, unverzichtbar. Validierung, statistische Analyse, Verhalten unter Unsicherheit und umfassende Negativtests ergänzen deterministische Verifikation.

Einen belastbaren Normenrahmen zur Orientierung liefern hierfür die ISO/IEC 25010 und die ISO/IEC 25059. Systematisch definieren sie die für KI-Systeme relevanten Qualitätsmerkmale, wie funktionale Anpassbarkeit, Robustheit, Transparenz und Eingreifbarkeit.

Wer KI erfolgreich, compliant und sicher produktiv einsetzen will, benötigt eine Teststrategie, die risikobasiert arbeitet, früh im Entwicklungsprozess ansetzt und KI-spezifische ebenso wie “klassische” Qualitätskriterien systematisch adressiert. Die konkrete Umsetzung in Bezug auf Methoden, Umfang und Priorisierung muss jedoch jede Organisation für ihren spezifischen Kontext selbst bestimmen. Verantwortung und Kontrolle bleiben dabei stets beim Menschen verankert. Nur so lassen sich Innovation und Regulatorik in ein nachhaltiges Gleichgewicht bringen.

Über die Autoren:

Wolfgang Sperling ist Director im Bereich Apps & Infra bei Avanade, dem weltweit führenden Anbieter von Microsoft-Services, und Ansprechpartner für den Technology Stack von Microsoft im Kompetenzzentrum für digitale Souveränität bei Accenture. Seit mehr als 15 Jahren beschäftigt er sich mit Qualitätssicherung in Softwareprojekten, einen großen Anteil davon in kritischen oder herausfordernden Projektsituationen. Gespräche und Austausch über Softwarequalität findet er großartig und ist deshalb aktiv in der Testcommunity „The TestLänd“.

Laura De Michele ist seit 2016 bei der TestGilde GmbH als IT-Beraterin im Testmanagement tätig. Ihr Schwerpunkt liegt in der Steuerung von Testprozessen in agilen Projekten sowie der Testdatenanonymisierung im Einklang mit Datenschutzvorgaben. Sie bringt Projekterfahrung aus den Branchen Versicherung, Bank und Automobil mit und überzeugt durch eine strukturierte, lösungsorientierte Arbeitsweise.

Matthias Groß ist Partner der TestGilde GmbH, Prüfer und Betreuer wissenschaftlicher Arbeiten an der DHBW, Mitgründer der Testcommunity „The TestLänd“ und teilt sein Wissen regelmäßig auf LinkedIn.