KI und Testautomatisierung – funktioniert das?
Der Quality Day ist ausgebucht! Eine Anmeldung ist nicht mehr möglich.
Agenda
09:30 Uhr Eröffnung (Dr. Erhardt Wunderlich / Sascha Hackel (Fraunhofer FOKUS))
09:45 Uhr Keynote: Florian Fieber (TestSolutions GmbH; GTB) „Testautomatisierung mit KI und ohne Menschen – funktioniert das?“
10:30 Uhr Coffee Break – Networking
10:45 Uhr Stephan Segmiller (sepp.med) „Sag: “Mach Mal” – Dann legt er los…“
11:30 Uhr Matthias Eichenseher & Thorsten Reimann (Siemens AG) „Rock the W with GenAI”
12:15 Uhr Mittagspause
13:15 Uhr Johannes Dienst (askUI) „Intent-Driven Automation with Multimodal AI“
14:00 Uhr Patrick Stiller (Tracetronic) „Testing AI Assistant – Tracetronic und AI Testautomatisierung“
14:45 Uhr Coffee Break mit Erfahrungsaustausch/Diskussionsrunde
- Wer nutzt bereits KI-Tools in der Testautomatisierung?
- Was sind die Erwartungen?
- Was sind die Erfahrungen?
- ………
15;30 Uhr Lilia Gargouri (mgm technology partners gmbh) „Automatisierte Testautomatisierung“
16:15 Uhr Helene Knof (Fraunhofer FOKUS) „Evaluierung der Vertrauenswürdigkeit einer erklärbaren KI – am Beispiel eines Notrufsystems“
16:45 Uhr Ivan Ivanov „Mnemonic und Euristic in Testing + KI Hilfe“
17:15 Uhr Zusammenfassung und Ende der Veranstaltung (Dr. Erhardt Wunderlich / Sascha Hackel (Fraunhofer FOKUS))
Vorträge
Florian Fieber (TestSolutions GmbH; GTB) „Testautomatisierung mit KI und ohne Menschen – funktioniert das?“
Abstract:
Die rasante Entwicklung von KI-Technologien wie ChatGPT und Gemini wirft einen Schatten der Veränderung über die Welt des Softwaretestens. Die Verfügbarkeit und Verbreitung solcher Sprachmodelle verdeutlichen die disruptive Kraft der KI für unsere Disziplin.Es ist offensichtlich, dass wir uns mit neuen Testverfahren und Technologien auseinandersetzen müssen, insbesondere im Kontext von KI-Systemen. Diese Systeme haben bereits begonnen, die Arbeit von Testerinnen und Testern zu beeinflussen, indem sie teilweise Aufgaben übernehmen können, die bisher menschliche Expertise erforderten.
Doch welche Auswirkungen wird dies langfristig haben? Wie wird sich die Rolle des Testens in den nächsten Jahren entwickeln und wird das traditionelle Softwaretesten überhaupt noch relevant sein? Diese Fragen bilden den Kern des Vortrags von Florian Fieber.
Er wird den aktuellen Stand der Testautomatisierung mit KI beleuchten, potenzielle Zukunftsszenarien skizzieren und versuchen, plausible Antworten auf diese herausfordernden Fragen zu finden. Das Ziel ist es, nicht nur die Möglichkeiten, sondern auch die Grenzen der Automatisierung im Testbereich zu erkunden und einen Ausblick darauf zu geben, wie Testerinnen und Tester sich in einer zunehmend von KI geprägten Welt positionieren können.
Stephan Segmiller (sepp.med) „Sag: “Mach Mal” – Dann legt er los…“
Abstract:
Sehr geehrtes Fachpublikum, bodenständige Leute wie Testautomatisierer/innen wissen, dass sich nichts wie vonselbst erledigt, nicht einmal durch eine KI. Aber wenn man die Parametrisierung (bzw. bei einem neuronalen Netznennt man es Prompting) richtig wählt und Sie mit geeigneten Testdaten kombiniert, kann einem ein Testrobotereiniges an Zeitaufwand abnehmen und komplexe Fragestellungen mit Leichtigkeit lösen. Sie erfahren, was denUnterschied zwischen den klassischen Algorithmen als Möglichkeit der traditionellen Testautomatisierung und einer KIals (vielleicht) die Zukunft in der Testautomatisierung ausmacht. Steigen Sie durch diesen Vortrag in die vielfältigenMöglichkeiten der KI mit ein und nehmen Sie wertvolle Informationen mit…
Matthias Eichenseher & Thorsten Reimann (Siemens AG) „Rock the W with GenAI”
Abstract:
Im Siemens GenAI-Bootcamp 2024 haben wir uns der Herausforderung gestellt, möglichst viele Testaufgaben für eineAutomatisierungs-App mithilfe von GenAI zu lösen. Dabei orientierten wir uns am W-Entwicklungsmodell, um nicht nurUnit-Tests, sondern das gesamte Spektrum an QA- und Testaufgaben im W-Modell abzudecken, wie z.B. Requirment-Review, Risiko-Analyse usw. In unserem Vortrag möchten wir unsere Erfahrungen aus einer intensiven WocheBootcamp mit euch teilen. Was haben wir erreicht? Welche Aufgaben ließen sich schnell bewältigen und wo stießenwir auf unerwartete Schwierigkeiten? Lasst uns gemeinsam die vielfältigen Möglichkeiten von GenAI für die Zukunftdes Testens erkunden und diskutieren
Johannes Dienst (askUI) „Intent-Driven Automation with Multimodal AI“
Abstract:
Current user interface (UI) test automation tools demand specifying the “How” – Such as writing text into a textfield. This approach results in brittle, flaky tests that become maintenance nightmares, breaking frequently with UI changes. Additionally, these tools are often limited to specific platforms and operating systems. Imagine a better way: specifying the “What”: Fill out the form with the data. The rapid advancements in multimodal AI enable models to figure out a way to achieve the desired outcome with appropriate actions. Combine this with human-like input and you can automate tests across all platforms and applications, even canvas-based ones. A live demo will show the practical implications of leveraging GPT for task understanding, Computer Vision models for object detection, and human-like interaction with the operating system to write a poem about test automation and save it to a desktop application. All of this is initiated by a single prompt and no further user interference.
Patrick Stiller (Tracetronic) „Testing AI Assistant – Tracetronic und AI Testautomatisierung“
Abstract:
Die fortschreitende Digitalisierung in der Automobilindustrie, insbesondere im Bereich des autonomen Fahrens, erhöht die Komplexität der Testanforderungen und stellt neue Herausforderungen an die Gewährleistung der Fahrzeugqualität und -sicherheit. Innovative Ansätze zur Testautomatisierung sind daher unerlässlich. Tracetronic kombiniert umfassendes Test-Know-how mit modernen Technologien, wie der Künstlichen Intelligenz zur Testfallerstellung, um die hohen Anforderungen an Sicherheit und Zuverlässigkeit der Fahrzeuge von morgen zu erfüllen.
Lilia Gargouri (mgm technology partners gmbh) „Automatisierte Testautomatisierung“
Abstract:
Im digitalen Zeitalter stehen Testautomatisierungsexperten vor der Herausforderung, umfangreiche Formulare in komplexen Geschäftsanwendungen automatisiert zu testen. Die große Anzahl an Feldern in jedem Formular, kombiniert mit der Vielzahl der möglichen Ausfüllvarianten, erschwert eine effiziente End-to-End-Testautomatisierung, insbesondere unter dem Druck begrenzter Zeit und Ressourcen. In diesem Vortrag präsentiere ich ein modellbasiertes Verfahren, das den Testcode für die Automatisierung generiert und mithilfe eines Interpreters die Benutzeroberfläche jedes Formulars systematisch und blind ausfüllt. Die Grundidee dieses Verfahrens ist auf andere Anwendungen und UI-Testautomatisierungstools übertragbar.
Helene Knof (Fraunhofer FOKUS) “Evaluierung der Vertrauenswürdigkeit einer erklärbaren KI – am Beispiel eines Notrufsystems”
Abstract:
Um KI vertrauenswürdiger zu machen, werden Erklärbarkeitsmethoden (xAI) eingesetzt. Diese bringen eigene Herausforderungen mit sich. Zum Beispiel erklären unterschiedliche Methoden die selbe KI auf unterschiedliche Weise. Daher ist es notwendig, die Erklärbarkeitsmethoden zusammen mit der KI zu testen. Aber was erwarten wir von einer Erklärung? Wie lässt sich feststellen, welche Erklärbarkeitsmethoden geeignet sind? Am Beispiel eines erklärbaren KI-basierten Notrufsystems wird demonstriert, wie solche Tests aussehen können.
Ivan Ivanov „Mnemonic und Euristic in Testing + KI Hilfe“
Abstract:
Im Vortrag werden Mnemonics und Heuristics beschrieben: bzw. inklusive eines historischen Rückblicks auf diese Methoden.Bekannte Beispiele(wie SFDPOT, VADER, PAOLO) werden besprochen, und es wird erklärt, wie man neue Mnemonic-Heuristic entdecken kann.Am Ende wird demonstriert, wie wirkt KI auf diesen Prozess, bevor abschließend Fragen beantwortet werden.