Der Vortrag beginnt mit einer kompakten Einführung in Large Language Models (LLMs) und erläutert deren Funktionsweise sowie die grundlegenden Prinzipien, die ihre praktischen Einsatzmöglichkeiten bestimmen.

Im Mittelpunkt steht die konkrete Anwendung von LLMs beim Test. Dabei wird anhand der generischen Architektur für Testautomatisierung gezeigt, wie diese Modelle verschiedene Testaktivitäten unterstützen, beschleunigen und qualitativ verbessern können. Ein ausführliches Beispiel präsentiert einen Retrieval-Augmented-Generation-(RAG)-Ansatz auf Basis von Open-Source-LLMs, die in einer Private-Cloud-Umgebung betrieben werden. Dieses Beispiel zeigt sowohl die Chancen als auch die architektonischen Überlegungen, die dabei eine Rolle spielen. Zusätzlich bietet der Vortrag einen kurzen
Einblick in AI Agents und ihr aufkommendes Potenzial in Test-Workflows, untermauert durch ein praktisches Beispiel.

Zum Abschluss folgt ein Überblick über die neuesten Aktualisierungen im ISTQB-Portfolio, mit Fokus auf Lehrpläne zum Testen KI-basierter Systeme sowie zum Einsatz generativer KI im Softwaretest.

Über die Folgen des nicht-deterministischen Verhaltens generativer KI

ChatGPT müsste eigentlich einen Warnhinweis haben. Der ständige Gebrauch macht eindeutig süchtig. Manche sagen sogar, er macht uns dumm. Aber das ist gar nicht so sehr das Problem. Der Taschenrechner hat uns auch nur bedingt geschadet. Was uns allerdings Probleme bereitet, ist die teilweise mangelnde Verlässlichkeit der Ergebnisse, die uns die Chatbots präsentieren (gemeint sind Halluzinationen und logische Fehler).

Tatsächlich treffen hier eine technische und eine menschliche Schwäche aufeinander. Die KI ist nicht deterministisch und liegt mit einer gewissen Wahrscheinlichkeit auch mal falsch oder zumindest leicht daneben. Der Mensch kann hingegen nur schlecht mit statistischen Sachverhalten umgehen. Das macht die Quantenmechanik so schwierig zu verstehen und freut die Versicherungsbranche. Wenn wir allerdings generative KI im Entwicklungsprozess einsetzen, müssen wir uns der Frage stellen, inwieweit unsere Sicht auf die Ergebnisse nicht getrübt ist und was wir tun sollten, um verlässliche Benchmarks, z.B. für KI-Agenten zu entwickeln.