KI ist unzuverlässig und durch KI getroffene Entscheidungen sind nicht nachvollziehbar. Dieses Verdikt ist schwer zu widerlegen und könnte durchaus sinnvollen Anwendungen der KI im sicherheitsrelevanten Bereich im Wege stehen.

Es lohnt sich also, eine Sicherheitsbeurteilung einer KI vorzunehmen. Dafür ist das Graphmodell der Kombinatorischen Logik gut geeignet. Dieses Modell vereint die Aspekte der Programmierung von Abläufen mit denjenigen der Objekterkennung und der Verarbeitung großer Datenmengen. Dadurch lassen sich die Risiken erkennen und beurteilen, ob geeignete Schutzmechanismen existieren, welche bei Eintreten eines Risikos aktiv werden.

SW-Modellierung nach ISO 19761

Das gängigste Verfahren zur Software-Risikobewertung ist in ISO 19761 (COSMIC) beschrieben. Es identifiziert Datenbewegungen zwischen relevanten Objekten und charakterisiert sie über Datengruppen. Daraus lassen sich Bearbeitungsrisiko und Datenabhängigkeiten sowie deren zeitliche Verfügbarkeiten ableiten.

Gemäß ISO 19761 erfolgt die Modellierung der Anforderungen durch Analyse dieser Datenbewegungen, die nur identifizierbare Inhalte zwischen den involvierten Objekten («Objects of Interest») betreffen. Datengruppen zeigen damit die Bedeutung, Schutzwürdigkeit und Sicherheitsrelevanz der Daten. Ein COSMIC-Modell bildet stets die Grundlage für Sicherheitsanalysen, die über reine Blackbox-Tests hinausgehen.

Das wichtigste der involvierten Objekte ist der Funktionale Prozess, da alle Datenbewegungen von einem solchen ausgehen oder hingehen. Die Abgrenzung solcher funktionalen Prozesse voneinander ist detailliert beschrieben im COSMIC-Manual und macht das Modell eindeutig und reproduzierbar.

Dieses Modell wird auch dazu benutzt, die Größe einer Software zu bestimmen, welche u. a. für Aufwandschätzungen für die Entwicklung einer Software genutzt werden kann. Bei COSMIC sind die Anwendungen im Testen von Software, Testen von Wissen und für Sicherheitsbetrachtungen weit vielversprechender, aber leider noch nicht populär.

Typen von Anforderungen in KI

Aufgrund des Graphmodells ergeben sich drei Typen von Anforderungen:

Reine Programmieraufgaben

Diese Klasse von Anforderungen betrifft die Festlegung der Datenbewegungen im System. Diese entspricht klassischer Programmierung, die im Zusammenhang mit KI meistens in Python realisiert wird. Da Python sich dafür eignet, Prompts zu vektorisieren und Antwortvektoren wiederum lesbar für Menschen zu machen.

Die Zuverlässigkeit der Datenverarbeitung bei Programmieraufgaben liegt theoretisch bei 100%. In Wirklichkeit spielen Softwarefehler hinein, die oft eine Diskrepanz zwischen Anforderung und Implementierung entstehen lassen.

Gelernte Konzepte

Man kann KI dazu einsetzen, statistische Zusammenhänge zu beobachten. Beispiele sind Large Language Models (LLM), wo passende Sätze mittels einer Schulung zusammengestellt werden («Training Set»). Diese bei der Schulung gewonnen Statistiken reflektieren aber nicht notwendigerweise Ursache-Wirkungsketten, sondern nur dann, wenn die Schulung explizit solche trainiert hatte. Auch dann kann ein LLM keine Ursache-Wirkungsketten identifizieren, sondern nur vorhersagen bzw. halluzinieren. Dies genügt aber keinen Sicherheitsanforderungen. Die Zuverlässigkeit der Datenverarbeitung mittels gelernter Konzepte ist grundsätzlich messbar. Wenn man zum Beispiel ein KI-Tool wie Perplexity AI fragt, lautet die Antwort, durchschnittlich 88% zu erreichen. Man kann aber nicht aus einem solchen Durchschnitt auf Einzelfälle schließen. Für Datenflüsse bilden aber Durchschnittswerte brauchbare Grundlagen für die Sicherheitsbeurteilung einer KI-gestützten Software in der Designphase.

Beobachtungen

Neuronale Netzwerke aus der Klasse der Perceptrons eignen sich auch für Aufgaben wie die Bilderkennung. Auch andere Objekte wie Szenarien, Verkehrssituationen, standardisierte Abläufe lassen sich damit erkennen. Die Zuverlässigkeit von Beobachtungen ist bekannt oder kann anhand von Testobjekten gemessen werden. Damit steht eine Methode zur Verfügung, wie einer Datenbewegung ein Maß für ihre Zuverlässigkeit zugewiesen werden kann, die als Grundlage für Sicherheitsbetrachtung dient. Da die Anforderungstypen und die Methodik auf dem Graph Modell respektive dem COSMIC-Modell definiert sind, spielen die Details der Implementation keine Rolle.

Sicherheitsbeurteilung im Modell

Es liegt in der Natur von Modellen, dass man zwar Aussagen über die Sicherheit leichter machen kann als im fertigen Produkt; aber solche Aussagen sind nur so gut wie das zugrundeliegende Modell. Deswegen ist es entscheidend, dass das Graphmodell zusammen mit dem COSMIC-Modell die Funktionalität wissensbasierter Anwendungen vollständig zu modellieren vermag. Das Graphmodell kann allerdings nicht alle qualitativen Aspekte der Mensch-Maschine-Kommunikation abbilden, etwa «Ease-of-Use». Immerhin erleichtert die Kategorisierung der Anforderungen an KI die Verständlichkeit deren Umsetzung.

Intelligente Systeme

Intelligente Systeme sind KI-Systeme, die über regelbasierte Prüffunktionen verfügen und über Lern- und Korrekturfunktionen verfügen. Idealerweise sind diese Prüffunktionen in der Lage, Halluzinationen zu erkennen, meist durch Vergleich mit einem Faktenprüfer, zum Beispiel einer symbolischen AI. Möglich sind auch Überprüfungen mittels einer unabhängigen anderen KI. Im letzteren Fall wird zwar die Zuverlässigkeit verbessert, aber es bleibt eine Restunsicherheit. In jedem Fall gibt ein intelligentes System an, mit welcher Sicherheit es arbeiten konnte. Nicht nur in der Medizin sind solche Angaben von höchster Bedeutung. Insbesondere in Automotive ist es offensichtlich, dass sich KI erst durchsetzen kann, wenn das System in der Lage ist, seine Zuverlässigkeit anzugeben und nachvollziehbar zu verwalten.

Kombination der Zuverlässigkeit

Werden nun verschiedene Daten in den funktionalen Prozessen eines intelligenten Systems miteinander kombiniert, verändert sich gleichzeitig auch deren Zuverlässigkeit. In welcher Weise sie das tun, hängt vom funktionalen Prozess ab. Grundsätzlich kombinieren funktionale Prozesse die Zuverlässigkeit der Elemente unsicherer Datengruppen nicht einfach additiv, sondern gemäß statistischen Regeln. Das bedeutet, zwei unabhängige Vektoren, die Daten repräsentieren, kombinieren ihre Zuverlässigkeit mittels der -Norm.

Reduktion der Sicherheitsrisiken

Gewisse funktionale Prozesse vergrößern die Zuverlässigkeit und reduzieren die Sicherheitsrisiken. Die Voraussetzung dazu ist, dass dieser funktionale Prozess Informationen aus mehreren, voneinander unabhängigen Quellen beziehen kann und es geeignete Algorithmen gibt, welche Unsicherheiten auszugleichen vermögen.

Ein Beispiel aus Automotive

LiDAR und Kamera

Ein Beispiel aus der Automobilindustrie ist die Kooperation mehrerer KI-Systeme zur Erkennung von Szenarien. Gelänge es dem einem Fahrzeug die Zuverlässigkeit seiner Sensoren und der wissensbasierten Auswertungen einschätzen, wäre es wie ein Werkzeug nutzbar: intelligent genug, seine Grenzen zu erkennen und den User zu warnen, wenn es überfordert ist. Heute lassen viele Lenkungsassistenzsysteme (ADAS) ihre Fahrer jedoch ohne Warnung scheitern – etwa bei Blendung durch Sonne oder Nebel.

Je nach Wetter, Tageszeit und Umgebung haben „Light detection and ranging“-Techniken (LiDAR) oder Kameras Vorteile: Wo die eine Technik nur Papiertüten erkennt, sieht die andere die Person mit dem Fahrrad. Welche Information stimmt, entscheiden funktionale Prozesse, die sich mit COSMIC modellieren lassen. Diese Prozesse greifen auf Zuverlässigkeitsdaten der Geräte zu – meist bekannt bei Sensoren, variabel bei Wetterprognosen. KI-Systeme liefern diesen Wert derzeit nur pauschal, nicht für einzelne Entscheidungen. Für visuelle Szenario-Systeme wäre das wünschenswert. Bei LLMs geht das architekturbedingt nicht.

Abb. 2 zeigt das Prinzip der Kombination mehrerer KI-gestützten sicherheitsrelevanten Applikationen mit funktionalen Prozessen, die entscheiden, welche umweltbedingt das beste Resultat liefert, und allenfalls in der Lage ist, die Zuverlässigkeit des Gesamtsystems zu verbessern. Im Anhang wird dieses Schema mit Hilfe eines COSMIC-Modells detailliert erklärt. Ein Beispiel aus der Praxis findet sich in.

Im Prinzip vermitteln die funktionalen Prozesse die von den KI-Systemen getroffenen Entscheide, prüfen sie und wenden sie an, falls sie gut genug sind. Die Zuverlässigkeit eines Intelligenten Systems kann damit schon beim Design abgeschätzt werden. Damit wird die Zuverlässigkeit nicht ausschließlich zum Thema umfangreicher und teurer Tests zur Inbetriebnahme.

 

Zusammenfassung

Wir haben gezeigt, dass der Entwurf intelligenter Systeme über den gewöhnlichen Einsatz von KI hinausgeht und die Kombination traditioneller Designmethoden mit KI die Sicherheit von KI sichtbar machen und damit bedeutend erhöhen kann.

Außerdem liegen in der Historie der KI etwelche Schätze begraben, deren Hebung sich lohnt. Zum Beispiel ist die Kombinatorische Logik heute eher wenig bekannt und das Graphmodell vergessen, obwohl diese einst im Rahmen der Entwicklung der KI entstanden, aber die kalten «Winter», als der KI insgesamt dreimal in den letzten 60 Jahren der Stecker – also akademische Lehrstühle und Forschungsförderung – entzogen wurde, nicht überstanden hatten.

Fundierte theoretische Grundlagen sind auch heute unerlässlich, um praktische technische Probleme zu lösen, und wir hoffen, mit diesem Paper einen kleinen Beitrag dazu geleistet zu haben. Aber nur schon ein sauberes Anforderungsmanagement kann bei KI – und jegliche andere Software – Sicherheitsrisiken aufdecken und entschärfen.

Über die Autoren:

Thomas Fehlmann ist freiberuflicher Unternehmer und Forscher, der seine Erkenntnisse und Ergebnisse auf verschiedenen Konferenzen vorstellt, mit Kollegen diskutiert und Artikel veröffentlicht. Sein Interesse hat sich von Six Sigma und Prozesssteuerung auf künstliche Intelligenz (KI) verlagert, da er bereits als Student in diesem Bereich gearbeitet hat und trotz der vielen KI-Winter nie das Interesse daran verloren hat. Derzeit untersucht er, wie das Graphmodell der kombinatorischen Logik genutzt werden kann, um zu verstehen, was auf dem sich schnell entwickelnden KI-Markt vor sich geht und wie KI einen Mehrwert für ihre Nutzer bieten kann. Als Six-Sigma-Experte beschäftigt er sich außerdem mit der Frage, wie Wissen gemessen und KI damit unter Kontrolle gebracht werden kann. Da er davon ausgeht, dass KI in allen Arten von cyber-physikalischen Objekten, einschließlich Robotern und autonomen Fahrzeugen, von großem Nutzen sein wird, befasst er sich mit der Herausforderung, solche Produkte in Bezug auf Sicherheit und Datenschutz zu zertifizieren.

Eberhard Kranich ist (Design for) Six Sigma Black Belt  und als freiberuflicher Qualitätsmanager in den Bereichen Softwareentwicklung (insb. Requirements Engineering), Prozessmanagement, Produktentwurf mit Quality Function Deployment (QFD), multikriterielle Entscheidungsfindung, und Bereitstellung und Auswertung von Umfragen tätig. Zusammen mit Thomas Fehlmann hat Eberhard zahlreiche Fachartikel  zu den oben genannten Themen und zu KI Methoden veröffentlicht.