Von GenAI-Risiken zu Test- und Kontrollmechanismen

Sei es zur Steigerung der Geschwindigkeit bei Entscheidungsfindungen, zur Entlastung von repetitiven Aufgaben oder zum Bezug von Kreativität auf Abruf. Generative KI (GenAI) kommt in vielen Unternehmen schneller zum Einsatz als die dazugehörigen Leitplanken. Die Folge sind neue Qualitätsrisiken: Halluzinationen, Data Leakage, verzerrte Ergebnisse oder unklare Verantwortlichkeiten.

Dieser Beitrag zeigt, wie AI Governance den sicheren Bezug von Mehrwert durch Generative KI ermöglicht. Lesende erhalten ein praxistaugliches Governance-Modell, konkrete Quality Controls und eine kompakte 30-Tage-Checkliste für den Start.

AI Governance wird oft als „Regelwerk für KI“ verstanden. Speziell im Bereich Softwarequalität ist Governance jedoch mehr: Sie schafft klare Zuständigkeiten, definiert Qualitätskriterien und etabliert Kontrollen über den gesamten Lebenszyklus eines KI-Systems. Weil Ergebnisse bei generativer KI nicht deterministisch sind, sind diese Leitplanken entscheidend. Ein identischer Prompt kann bei gleicher Fragestellung unterschiedliche Antworten liefern. Klassische Testansätze greifen daher zu kurz. Governance verbindet hier drei Perspektiven: regulatorische Anforderungen, organisatorische Verantwortung und prüfbare Qualitätsmechanismen.

Warum GenAI neue Qualitätsrisiken erzeugt

GenAI-Systeme, häufig basierend auf Large Language Models (LLM), erzeugen Texte, Bilder oder Code. Die Ausgabe wirkt oft plausibel, auch wenn sie fachlich falsch ist. Diese Eigenschaft macht GenAI für Produktivität attraktiv, erhöht aber das Risiko, Fehler unbemerkt in Prozesse und Entscheidungen zu tragen. Aus Sicht der Softwarequalität entstehen dabei neue Fehlertypen, die in klassischen Programmen nicht auftreten.

Typische Risiken sind Halluzinationen (inhaltlich falsche Aussagen), Bias (systematische Verzerrungen), Data leakage (z.B. durch Eingabe sensibler Inhalte), Prompt Injection (Manipulation durch versteckte Anweisungen) und Modell- oder Kontext-Drift (Qualitätsveränderung über Zeit). Zusätzlich kommen Risiken aus der Tool-Kette: Plugins, RAG-Systeme (Retrieval Augmented Generation, LLM mit Dokumentensuche) oder Automationen, die Antworten direkt in operative Systeme schreiben.

Je stärker GenAI in Workflows integriert ist, desto wichtiger wird eine klare AI-Governance mit mehreren Bausteinen, damit aus „schnell produktiv“ nicht „unkontrolliert produktiv“ entsteht:

AI Governance zwischen EU AI Act und ISO/IEC 42001

Wer vielleicht noch nicht mit den Folgen der genannten Risiken zu kämpfen hatte, startet AI Governance aus Compliance-Gründen. Der EU AI Act setzt dabei einen Rahmen, indem er KI-Anwendungen nach Risiko einordnet und je nach Kategorie strengere Pflichten auslöst. Für die Praxis bedeutet das: Nicht jede KI braucht denselben Aufwand, aber jede KI braucht eine bewusste Einstufung und dokumentierte Entscheidungen. Genau hier hilft AI-Governance, weil sie Risiken und Mitigationen nachvollziehbar macht: Welche Systeme gelten als kritisch, wer entscheidet, und welche Nachweise müssen vorliegen?

Ein zweiter Anker ist ISO/IEC 42001, ein Managementsystem-Standard für KI. Er unterstützt Organisationen dabei, Prozesse und Verantwortlichkeiten für KI strukturiert aufzubauen. Für Quality-Verantwortliche ist der Mehrwert klar: AI-Governance wird dadurch nicht zum Einmalprojekt, sondern zu einem wiederholbaren System aus Planung, Umsetzung, Überprüfung und Verbesserung. Entscheidend ist, den Standard nicht als Papierübung zu interpretieren, sondern als Vorlage für ein situationsbezogenes pragmatisches Operating Model zu verwenden.

Was bedeutet das konkret für Testteams und Quality Engineering?

AI-Governance ersetzt nicht das Testing von GenAI. sie verändert es. Statt „eine Funktion liefert exakt Output X“ müssen Testteams stärker mit Qualitätsdimensionen arbeiten. Dazu gehören Korrektheit, Konsistenz, Vollständigkeit, Robustheit gegen Manipulation, Datenschutzkonformität und Nachvollziehbarkeit. Diese Kriterien lassen sich nur über Testsets, Monitoring und klare Abnahmebedingungen stabil absichern.

Ein praxistauglicher Ansatz ist die Kombination aus drei Testebenen. Erstens: Prompt- und Response-Tests, um typische Nutzerfragen und Grenzfälle systematisch zu prüfen. Zweitens: Daten- und Retrieval-Tests bei RAG, um sicherzustellen, dass Quellen passend sind und Zitate stimmen. Drittens: End-to-End-Tests in Prozessen, wenn GenAI Entscheidungen vorbereitet oder Inhalte in Systeme überträgt. Ergänzend werden Security-Tests gegen Prompt Injection sowie klare Regeln benötigt, wann ein Human-in-the-loop zwingend ist:

Best Practices und Worst Practices aus der Einführung

Best Practices beginnen klein, aber verbindlich. Erfolgreiche Teams definieren zuerst wenige, klare Use-Case-Klassen, zum Beispiel „Textentwurf ohne Kundendaten“ oder „Wissensassistenz mit freigegebenen Dokumenten“. Sie führen ein einfaches Freigabeverfahren ein, dokumentieren Prompt- und Modellversionen und legen Mindesttests fest. Sie messen Qualität mit KPIs wie Korrektheitsquote, Eskalationsrate an Menschen, Anzahl sicherheitskritischer Treffer oder Zeitersparnis pro Prozess.

Worst Practices wirken oft effizient, verursachen aber später hohe Kosten. Dazu gehören unkontrollierte Tool-Nutzung („Shadow AI“), fehlende Rollenverantwortung, keine Protokollierung, keine Testdatenbasis und direkte Integration in produktive Systeme ohne Schutzmechanismen. Besonders riskant ist, wenn GenAI Antworten als „Fakten“ behandelt, ohne Quellen oder Plausibilitätsprüfung. Dann entstehen stille Qualitätsfehler, die sich erst in Reklamationen, Fehlentscheiden oder Datenschutzvorfällen zeigen. Das Verhindern dieser muss nicht mit grossen Initialaufwänden verbunden sein:

Fazit für die Praxis

AI Governance ist kein Bremsklotz für Innovation. Sie ist die Voraussetzung, damit GenAI verlässlich, sicher und nachvollziehbar eingesetzt werden kann. Für Softwarequalität bedeutet das: AI-Governance liefert die Struktur, um neue Fehlertypen testbar zu machen und Risiken aktiv zu steuern. Wer GenAI einführt, sollte nicht mit einem umfangreichen Regelwerk starten, sondern mit einem Minimum-Set aus Rollen, Risiko-Klassifizierung, Testnachweisen und Monitoring. Damit entsteht ein kontrollierter Einstieg, der skalierbar bleibt, wenn aus einzelnen Use Cases produktive KI-Funktionen werden.

Quellenhinweise:

[1] EU AI Act, regulatorischer Rahmen zur Einstufung von KI-Risiken
[2] ISO/IEC 42001, Managementsystem für Künstliche Intelligenz
[3] OWASP Top 10 for LLM Applications, Sicherheitsrisiken wie Prompt Injection
[4] ISO/IEC 25012, Datenqualitätsmodell (relevant für RAG und Trainingsdaten)

Über den Autor:

Nishan Portoyan ist seit über 20 Jahren in der IT-Branche tätig, mit einer Spezialisierung auf Softwarequalität, Testautomatisierung und die praxisnahe Einführung neuer Technologien wie Künstlicher Intelligenz in Qualitätssicherungsprozesse.

Ein wesentlicher Schwerpunkt seiner Arbeit liegt im Wissenstransfer. Er unterstützt Unternehmen, Teams und Einzelpersonen dabei, technisches Know-how verständlich und anwendungsnah aufzubauen. Dazu gehören die Entwicklung moderner Trainingsformate, das Coaching von Fachkräften sowie die strukturierte Vermittlung von Inhalten rund um Testmethoden, Automatisierung und den verantwortungsvollen Einsatz neuer Technologien. Nishan Portoyan ist überzeugt, dass Qualität nur dort nachhaltig entstehen kann, wo auch Verständnis, Austausch und gemeinsames Lernen stattfinden.