Der Vortrag beginnt mit einer kompakten Einführung in Large Language Models (LLMs) und erläutert deren Funktionsweise sowie die grundlegenden Prinzipien, die ihre praktischen Einsatzmöglichkeiten bestimmen.

Im Mittelpunkt steht die konkrete Anwendung von LLMs beim Test. Dabei wird anhand der generischen Architektur für Testautomatisierung gezeigt, wie diese Modelle verschiedene Testaktivitäten unterstützen, beschleunigen und qualitativ verbessern können. Ein ausführliches Beispiel präsentiert einen Retrieval-Augmented-Generation-(RAG)-Ansatz auf Basis von Open-Source-LLMs, die in einer Private-Cloud-Umgebung betrieben werden. Dieses Beispiel zeigt sowohl die Chancen als auch die architektonischen Überlegungen, die dabei eine Rolle spielen. Zusätzlich bietet der Vortrag einen kurzen
Einblick in AI Agents und ihr aufkommendes Potenzial in Test-Workflows, untermauert durch ein praktisches Beispiel.

Zum Abschluss folgt ein Überblick über die neuesten Aktualisierungen im ISTQB-Portfolio, mit Fokus auf Lehrpläne zum Testen KI-basierter Systeme sowie zum Einsatz generativer KI im Softwaretest.

Über die Folgen des nicht-deterministischen Verhaltens generativer KI

ChatGPT really ought to come with a warning label. Constant use is clearly addictive. Some even say it makes us stupid. But that isn’t really the problem. The calculator hasn’t done us much harm either. What does cause us problems, however, is the occasional unreliability of the results presented to us by chatbots (i.e. hallucinations and logical errors).

Tatsächlich treffen hier eine technische und eine menschliche Schwäche aufeinander. Die KI ist nicht deterministisch und liegt mit einer gewissen Wahrscheinlichkeit auch mal falsch oder zumindest leicht daneben. Der Mensch kann hingegen nur schlecht mit statistischen Sachverhalten umgehen. Das macht die Quantenmechanik so schwierig zu verstehen und freut die Versicherungsbranche. Wenn wir allerdings generative KI im Entwicklungsprozess einsetzen, müssen wir uns der Frage stellen, inwieweit unsere Sicht auf die Ergebnisse nicht getrübt ist und was wir tun sollten, um verlässliche Benchmarks, z.B. für KI-Agenten zu entwickeln.