Verfahren, die auf Künstlicher Intelligenz (KI) basieren, prägen nicht erst seit ChatGPT unseren Alltag. Auch vor dem Aufkommen der modernen Chatbots war KI bereits unser permanenter Begleiter; Objekterkennung in Fahrassistenzsystemen, Werbeanzeigen im Internet, automatische Wortkorrektur bei Touchscreen-Tastaturen oder biometrische Zugangskontrollen, hinter allem versteckt sich KI in der einen oder anderen Form.

Mit der wachsenden Anzahl an KI-basierten System in unserem Alltag, bekommt dessen Qualität einen immer höheren Stellenwert. Dies hat auch der Gesetzgeber erkannt und mit dem EU AI Act die weltweit erste allgemeine KI-Verordnung verabschiedet.

Von den Anforderungen des EU AI Acts im Zusammenspiel mit dem deutschen Grundgesetz wird von KI-Systemen gefordert, dass sie sowohl repräsentativ als diskriminierungsfrei agieren.

Dies stellt Qualitätssicherung vor die Herausforderung über etablierte Testmethoden hinauszugehen und vermehrt statistische Methoden dem eigenen Werkzeugkasten hinzuzufügen.

Die Kreditwürdigkeitsprüfung als Beispiel

Ein Großteil der deutschen Bevölkerung nimmt einmal in ihrem Leben einen Kredit auf. Große Kredite werden für Autos, Häuser oder Eigentumswohnungen aufgenommen, während insbesondere jüngere Menschen kleine Ratenkredite für Anschaffungen nutzen.

Bei Privatkunden sind KI-unterstützte Verfahren zur Kreditwürdigkeitsprüfung mittlerweile weit verbreitet und werden häufig eingesetzt, ohne die Kunden darüber zu informieren. Auch bei KMU (Kleine und mittlere Unternehmen) werden vermehrt KI-Systeme eingesetzt, nur bei großen Kreditvolumina ist eine abschließende menschliche Kontrolle vorgeschrieben.

Der Nutzen von KI liegt auf der Hand: eine komplexe Aufgabe, in diesem Fall aus einer Fülle von Daten geeignete Schlüsse zu ziehen, kann mit wenig Personaleinsatz schnell erledigt werden, was sowohl dem Kreditnehmer, als auch dem Kreditgeber entgegenkommt. Was aber, wenn der Kreditantrag abgelehnt wird und der Antragsteller eine Begründung fordert?

Eine KI ist so gut wie die Daten, mit denen sie angelernt wurde. Waren die Trainingsdaten zu ihrem Einsatzgebiet (ODD – Operational Design Domain) jedoch verzerrt oder nicht vollständig, d.h., wichtige Beispielsätze fehlen oder sind deutlich unterrepräsentiert, so werden die Ergebnisse im Allgemeinen von schlechter Qualität sein. Kann es also sein, dass es mangelhafte Trainingsdaten waren, die zur Kreditverweigerung führten? Wie gehen wir mit Minderheiten um? Grenzfälle und unterrepräsentierte Eigenschaften (z.B. ethnische Minderheiten) werden in einer zufälligen Stichprobe seltener auftreten. Wie lernen wir also eine KI so an, dass ihre Kreditwürdigkeit nicht von diesem Merkmal beeinflusst wird? Diese Probleme treten in klassischen Systemen nicht auf, und werden so auch nicht durch klassische Testmethoden abgedeckt. Für KI-Systeme sind statistische Betrachtungen jedoch essentiell, hier bedarf es neuer Ansätze.

Bevor wir auf die technischen Aspekte eingehen, wollen wir auch auf die regulatorischen Forderungen nach Gleichbehandlung eingehen, die ebenfalls statistisch zu beantworten sind.

Repräsentativität und Gleichbehandlung aus Sicht des Gesetzgebers

Dem Gesetzgeber sind die Herausforderungen der Repräsentativität und Diskriminierung durch Ungleichbehandlung bewusst. Sie finden daher auch ihren Niederschlag im EU AI Act für Hochrisiko-KI-Systeme (zu denen auch Kreditwürdigkeitsprüfungen gehören) in Kapitel III, Artikel 10. Dort wird gefordert: „Die Trainings-, Validierungs- und Testdatensätze müssen im Hinblick auf die Zweckbestimmung relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein“. Weiter schreibt das deutsche Grundgesetz in Artikel 3 vor: „Niemand darf wegen seines Geschlechtes, seiner Abstammung, seiner Rasse, seiner Sprache, seiner Heimat und Herkunft, seines Glaubens, seiner religiösen oder politischen Anschauungen benachteiligt oder bevorzugt werden. Niemand darf wegen seiner Behinderung benachteiligt werden.“.

Aus Sicht des Gesetzgebers wird von einem KI-System also gefordert, dass es in seiner Einsatzumgebung sowohl zweckerfüllend, als auch diskriminierungsfrei agiert. Für die Trainingsdaten bedeutet es, dass sie repräsentativ sein müssen und zugleich Minderheiten nicht benachteiligen darf. In repräsentativen Daten treten Minderheiten jedoch seltener auf und gesetzt den Fall, das System arbeitet im Normalfall mit einer Güte von 1/200, im Fall der Minderheit aber nur 1/50, so mittelt sich diese Ungleichheit aus und wir hätten eine Sicherheit von unter 1/100 nachgewiesen. Das widerspricht aber der Forderung nach Gleichbehandlung!

Wie lassen sich diese scheinbar im Widerspruch zueinanderstehenden Eigenschaften und damit die Gesetzeskonformität des Systems nachweisen?

Ein systematischer Testansatz

Gehen wir zurück zu der Frage wie Repräsentativität und Gleichbehandlung nachgewiesen werden können. Ein KI-System ist simpel gesagt eine Wahrscheinlichkeitsfunktion, die während des Trainings eine abstrakte Wahrscheinlichkeitsverteilung über ihre Trainingsdaten lernt und bei ihrer Ausführung (Inferenz) diese Wahrscheinlichkeitsverteilung für ihre Ausgabe nutzt.

Damit haben wir zwei Testobjekte die berücksichtigt werden müssen: Die Trainingsdaten der KI und die KI selbst.

Die Daten zum Training einer KI werden üblicherweise in drei Datensätze geteilt: Die Trainings-, Test- und Validierungsdatensätze. Es gibt keine allgemeine Konvention, wie die Datensätze für den nachgelagerten Entwickler-Test genannt werden, daher bezeichnen wir die Daten für den entwicklungsbegleitenden Entwickler-Test mit Validierungsdatensatz und im Kontext des Systematischen Tests den Term „Trainingsdaten“ für die Daten, die für das Anlernen der KI genutzt werden, als Trainings- und Testdatensätze.

Für den Nachweis der Repräsentativität der Trainingsdaten benötigen wir eine allgemeine Referenzverteilung, die dem Einsatzgebiet der KI entspricht.

Die Diskriminierungsfreiheit und damit Gleichbehandlung von Menschen, unabhängig davon, ob sie einer Minderheit angehören oder nicht, benötigt ebenfalls eine Referenzverteilung, allerdings mit anderen Randbedingungen als die für den Nachweis der Repräsentativität. Diese Randbedingungen können wir realisieren, in dem wir die allgemeine Referenzverteilung gesondert für eine Klasse (z.B. Ethnie) untersuchen. Mathematisch bedeutet dies die allgemeine Referenzverteilung auf diese Klasse zu konditionieren, die nach Bayes bedingte Erwartung unter Vorkenntnissen zu berechnen. Im Beispiel treffen wir also eine Vorauswahl (z.B. Ethnie: türkisch).

Unser Testansatz besteht demnach aus 3 Schritten:

1. Erstellung der Referenzverteilung für die Operational Design Domain des KI-Systems
2. Evaluation der Trainingsdaten, ob sie der Referenzverteilung entsprechen
3. Test von KI-Qualitätskriterien (z.B. Diskriminierungsfreiheit) auf Grundlage der Referenzverteilung und ggf. Konditionierung auf Randbedingungen.

Die Quelle der KI-Qualitätskriterien können vom Gesetzgeber (z.B. Diskriminierungsfreiheit des KI-Systems) als auch vom Kunden (z.B. Akkuratheit von 95% des KI-Systems) gefordert werden.

Wie können wir also unseren Testansatz umsetzen?

Erstellung einer Referenzverteilung für die ODD des KI-Systems

Ein erster Ansatz zur Erstellung der Referenzverteilung könnte sein, die Trainingsdaten des KI-Systems zu untersuchen und daraus für jedes enthaltene Objekt eine Auftrittswahrscheinlichkeit abzuleiten. Dieser Ansatz ist allerdings nicht ausreichend, da dadurch zum einen die Unabhängigkeit zwischen Entwicklung und Test verletzt wird, und zum anderen keine Aussage darüber gemacht werden kann, ob die Trainingsdaten die ODD vollständig und repräsentativ abbilden.

Ein anderer Ansatz wäre, die ODD des KI-Systems mit einer Ontologie zu modellieren, um darin alle Objekte (im Zusammenhang mit Ontologien auch Klassen genannt) systematisch zu erfassen. Dieser vielversprechende Ansatz ist weit verbreitet, um strukturiert Konzepte zu erstellen, da sowohl die Unabhängigkeit des Tests zur Entwicklung beibehalten wird, als auch die Vollständigkeit aller Objekte der ODD nachgewiesen werden kann. Leider lässt sich aus einer Ontologie in ihrer Reinform keine Statistik ableiten. Die Klassen der Ontologie und ihre Beziehungen sind untereinander rein deskriptiv. An dieser Stelle lässt sich allerdings ansetzen, in dem wir den Klassen der Ontologie eine Auftrittswahrscheinlichkeit in Bezug zur modellierten ODD zuweisen und die Abhängigkeiten zwischen verschiedenen Klassifikationen funktional beschreiben. Ein Beispiel:

Bleiben wir bei der oben genannten Kreditwürdigkeitsprüfung und nehmen an, ein Ausschnitt der Ontologie für ein KI-System, das die Kreditwürdigkeit prüft, hat die Form von Abbildung 1. Die Verteilungen der Namen, des Geschlechts, der Berufe, des monatlichen Bruttoeinkommens, etc. in Deutschland lässt sich aus verschiedenen Quellen beziehen und den Klassen der Ontologie zuweisen. Sind Angaben zu bedingten Verteilungen, z.B. dem Einkommen von Software Entwicklerinnen und Entwicklern aufzufinden, lassen sich diese ebenfalls direkt in der Ontologie festhalten. Sind die bedingten Verteilungen nicht zur Hand, können wir die Abhängigkeiten funktional beschreiben und zu bedingten Verteilungen erweitern. Auf diese Art erhalten wir eine probabilistisch erweiterte Ontologie (kurz PEON) und damit die Referenzverteilung für unseren Anwendungsfall.

 

 

 

 

Evaluation der Trainingsdaten, ob sie der Referenzverteilung entsprechen

Über die Referenzverteilung lassen sich die Mindestmenge an benötigten Datenpunkten je Klasse (siehe dazu Beispiel unten) sowie die zu erwartenden Auftrittswahrscheinlichkeiten der Ausprägung der Kombinationen der Ontologie-Klassen angeben und mit dem tatsächlichen Vorkommen in den Trainingsdaten vergleichen. Liegen die Trainingsdaten innerhalb der von einer benannten Stellegeforderten Kriterien, so sind die Trainingsdaten valide, andernfalls mangelhaft.

Test von KI-Qualitätskriterien (z.B. Diskriminierungsfreiheit) auf Grundlage der Referenzverteilung

Soll nun ein bestimmtes KI-Qualitätskriterium nachgewiesen werden, gibt es eine statistische Hürde, die für den Nachweis zu berücksichtigen ist: Die statistische Signifikanz.

Nehmen wir an, der Gesetzgeber fordert für Kreditwürdigkeitsprüfungen eine Fehlerrate von durchschnittlich höchstens einem Fehler in 100 Fällen. Betrachten wir die Abstammung des Familiennamens als Merkmal für mögliche Diskriminierung. Diskriminierungsfreiheit bedeutet in diesem Kontext, dass die Fehlerrate des KI-Systems zur Kreditwürdigkeitsprüfung in Abhängigkeit vom Familiennamen immer unter der geforderten Fehlerrate liegen muss.

Wie viele Tests müssen wir machen, um die geforderte Fehlerrate im System zu bestätigen oder zu widerlegen? Man könnte naiv annehmen, dass es reicht, eine Anzahl an Tests in der gleichen Größenordnung durchzuführen. Nehmen wir an, dass wir 200 Tests durchführen und in diesen nur zwei Kreditwürdigkeitsprüfung fehlerhaft waren, dann würde dies einem Konfidenzniveau von ~65% entsprechen, d.h. die geforderte Qualität könnte nur mit einer Sicherheit von 65% nachgewiesen werden. Für den Nachweis der Diskriminierungsfreiheit mit einem Konfidenzniveau von ~90% benötigte man hingegen schon ca. 1900 Testfälle. Dieses einfache Beispiel soll illustrieren, dass für eine höhere statistische Sicherheit mehr Testfälle benötigt werden.

Abschließend können wir feststellen, dass sich Repräsentativität und Diskriminierungsfreiheit nicht grundsätzlich widersprechen, sondern je nach Anwendungsfall gesondert zu untersuchen sind. Somit lassen sich KI-Systeme, mit der gegebenen Sorgfalt, konform zu EU AI Act, Verfassung und aktueller Gesetzgebung entwickeln. Uns Tester:innen obliegt es, neue Testmethoden für die Qualitätssicherung von KI zu entwickeln und damit einen Beitrag dessen Konformität in der EU zu leisten.

Über den Autor:

Nicolas Grube ist Entwicklungs- und Testingenieur bei ITPower Solutions GmbH in Berlin. Er beschäftigt sich mit dem (Fehl-)verhalten von KI-Modellen, auf Embedded Hardware und im Einsatz beim Requirements Management und Engineering. Sein Interesse gilt der Verknüpfung von gesetzlichen Vorgaben und deren Nachweis in der KI-Entwicklung.