Nach 2011, 2015/16 und 2020 wurde 2024 die Umfrage Softwaretest in Praxis und Forschung zum vierten Mal durchgeführt. Damit liegen Daten über knapp 15 Jahre zum Stand der Technik in der Qualitätssicherung vor und ermöglichen ausgehend von den Ergebnissen der Umfrage 2024 einen Blick zurück, um Trends und Entwicklungslinien zu beschreiben. Die Daten der aktuellen Umfrage erlauben uns aber auch, einen Blick in die Zukunft zu werfen. Wird KI die Aufgaben in der Qualitätssicherung verändern? Welchen Herausforderungen müssen wir uns stellen?

Umfrage Softwaretest in Praxis und Forschung

Im September 2024 wurde zum vierten Mal vom German Testing Board (GTB) unter der wissenschaftlichen Leitung der Hochschule Bremerhaven, der TH Köln sowie der TH Aschaffenburg die im deutschsprachigen Raum größte Umfrage zum Thema Softwaretest in Praxis und Forschung als Langzeitstudie durchgeführt. Mit knapp 800 Teilnehmenden wurde ein beachtlicher Rücklauf erreicht.

Während wir 2020 einen deutlich höheren Anteil an Teilnehmenden aus der Entwicklung verzeichnen konnten, ist 2024 die Rollenverteilung ähnlich wie in den Jahren 2011 und 2015/16 mit einem leichten Überhang aus dem Umfeld der Qualitätssicherung. Tendenziell wurden Personen aus größeren Unternehmen mit dem Schwerpunkt im Finanz- und Versicherungssektor, der öffentlichen Hand sowie im Bereich Automotive erreicht.

Sind die Projekte in der Agilität angekommen?

Es hat den Anschein, dass der Richtungsstreit zwischen agilen und phasenorientierten Projekten zu Gunsten der Agilität entschieden ist. Während noch 2011 der überwiegende Anteil der Projekte phasenorientiert durchgeführt wurde, hatte sich das Bild 2020 bereits komplett gedreht. Auch wenn 2020 viele der Befragten angaben, in ihren Projekten agil unterwegs zu sein, so vermittelten die vorliegenden Daten den Eindruck, dass wesentliche agile Praktiken noch nicht im Mindset der Projekte verankert waren. Deswegen wurde die Frage 2024 erweitert und neben agilen und phasenorientierten auch nach hybriden Vorgehensmodellen gefragt. Die vorliegenden Ergebnisse aus 2024 bestätigen den Eindruck aus 2020 (siehe Abb. 1). Agiles oder hybrides Vorgehen sind gleich auf, während reine phasenorientierte Vorgehensmodelle kaum noch eine Rolle spielen.

Die überwiegende Mehrheit der Befragten aus dem operativen Bereich sehen die entwicklungsnahen, agilen Praktiken als fördernde Maßnahmen der Qualitätssicherung. Dabei ist Testautomatisierung (82%) der Favorit, gefolgt von Continuous Integration (70%), Code Review (68%) und Clean Code (66%). Weniger als 50% sehen organisatorische Praktiken wie z.B. Retrospektive, Pair Programming, Stand Up-Meeting oder Collective Code Ownership als förderlich für Qualitätssicherung. Damit setzt sich die Tendenz aus 2020 fort, dass der Fokus eher auf der Nutzung entwicklungsnaher Praktiken liegt und ein agiles Mindset noch nicht überall verankert ist.

Hat sich der Grad der Testautomatisierung erhöht?

Vor dem Hintergrund immer kürzerer Entwicklungszyklen in iterativen Vorgehensmodellen spielt Testautomatisierung in den Diskussionen eine zunehmende Rolle. Auch in der Umfrage hat die Testautomatisierung bei 82% der Befragten einen sehr hohen Stellenwert. Trotzdem spiegelt sich dies nicht in dem Grad der Testautomatisierung wider. 2024 haben immerhin drei Viertel der Befragten mindestens 75% ihrer Unittests automatisiert. Für höhere Teststufen trifft dies aber lediglich auf ein Drittel der Befragten zu. Der Grad der Testautomatisierung auf den jeweiligen Teststufen ist zwar von 2011-2020 deutlich gestiegen. Seit 2020 scheint es jedoch zu stagnieren (siehe Abb. 2).

Viele Fragen wirft die Testautomatisierung von speziellen Testarten wie Regression, Last- und Performanz oder Sicherheit auf. Auch wenn der Grad der Testautomatisierung in diesen Testarten gegenüber 2020 gestiegen ist, so geben doch ein Viertel der Befragten an, Last- und Performanztests gar nicht zu automatisieren (siehe Abb. 3). Es ist zu vermuten, dass in vielen agilen Teams Last- und Performanztests oder Sicherheitstests nicht in den täglichen CI/CD-Prozessen integriert werden und damit für die Befragten weniger sichtbar sind. Hinzukommt, dass 63% der Befragten eine hohe Herausforderung in der Bereitstellung von Testumgebungen für nicht-funktionale Anforderungen sehen.

 

Werden systematische Testverfahren genutzt?

Die Auswertung der Umfragedaten zeigt, dass systematische Testverfahren zur Entwicklung von Testfällen eine eher geringere Bedeutung haben. Nur etwa 40% der Befragten nutzen meistens Grenzwertanalysen oder Äquivalenzklassenbildung, weniger als ein Viertel der Befragten nutzen meistens Zustandsübergänge oder Entscheidungstabellen und nur ein Drittel setzen meistens White-box-Testverfahren ein. Damit sind die Zahlen auf dem Niveau von 2015/16 und liegen deutlich hinter unseren Erwartungen. Interessant wird in der Zukunft zu beobachten sein, ob mit zunehmenden Einsatz von KI das explizite Wissen über Testverfahren weiter zurückgehen wird.

Wird KI die Qualitätssicherung verändern?

Aktuell werden in vielen Unternehmen hohe Erwartungen in die Nutzung von KI gesetzt und Projekte zur KI-gestützten Prozessautomatisierung auf den Weg gebracht. Auch die Auswertungen der Umfrage zeigen, dass gerade in der Softwareentwicklung bereits heute KI eingesetzt wird. Die Hälfte der Befragten aus dem operativen Bereich geben an, dass sie in ihren aktuellen Projekten bereits KI für die Programmierung einsetzen oder dies in konkreter Planung haben. Für die Aufgaben des Softwaretestens ist der Anteil mit ca. einem Drittel deutlich geringer, aber auch in diesen Bereichen sehen die Befragten, dass es eine Umsetzung in naher Zukunft geben wird.

Mit dem Blick auf das Potential von KI, ist abzusehen, dass die Aufgaben in der Qualitätssicherung sich verändern werden. Nicht überraschend sind die Erwartungen im Management höher als im operativen Bereich (siehe Abb. 4). Interessanterweise sehen alle Befragten in den organisatorischen und eher kreativen Aufgaben der Softwareentwicklung deutlich weniger Potential für KI.

Wo liegen die zukünftigen Herausforderungen?

Es überrascht nicht, dass viele der Befragten als eine der großen Herausforderungen den Einsatz von KI sehen. Die Hälfte der operativ Tätigen finden sich jedoch schlecht vorbereitet. Auch wenn das Management optimistischer ist, geben auch von ihnen ein Drittel an, schlecht vorbereitet zu sein. In der Weiterbildung wird von den operativ Tätigen in den nächsten drei bis fünf Jahre ein erhöhter Bedarf gesehen. 72% wünschen sich Weiterbildungen zum Thema Testen mit KI und 56% sehen einen Bedarf für Testen von KI. Auch von den Forschenden wird für die nächsten Jahre ein erhöhter Forschungsbedarf für den Einsatz von KI in der Qualitätssicherung gesehen.

Neben dem Einsatz von KI können anhand der Umfragedaten weitere Herausforderungen identifiziert werden. Über alle vier Umfragen ist die Einschätzung der Zufriedenheit bei zwei Drittel der Befragten sehr hoch. Bei genauerer Betrachtung der Daten aus der Umfrage 2024 wird jedoch deutlich, dass die eingeschätzte Kundenzufriedenheit zur Funktionalität der Software noch deutlich über diesem Wert liegt. Hier sind die Projekte auf einem sehr guten Weg. Aber die Aspekte Sicherheit und Performanz liegen deutlich unter dem Wert (siehe Abb. 5). Die operativ Tätigen sehen in den Bereichen IT-Sicherheitstests (66%), Last-/Performanztests (35%) sowie Testautomatisierung (54%) einen erhöhten Bedarf in der Weiterbildung.

Weitere Informationen zur Umfrage Softwaretest in Praxis und Forschung sind auf der Seite https://softwaretest-umfrage.de erhältlich.

Über Die Autor:innen

Mario Winter ist Professor für Softwareentwicklung und Projektmanagement an der TH Köln und Mitglied im GTB.

Frank Simon ist Leiter der Arbeitsgruppe Business Development beim GTB und forscht im Bereich Research & Innovation.

Karin Vosseberg ist Professorin für Systemintegration mit Fokus auf Qualitätssicherung an der Hochschule Bremerhaven und Mitglied im ASQF-Präsidium.

Timea Illes-Seifert ist Professorin an der Fakultät Ingenieurwissenschaften und Informatik der TH Aschaffenburg und Mitglied im GTB.

Annette Simon ist Leiterin der Arbeitsgruppe Marketing beim GTB und Projektleitung des GTB für die Softwaretest-Umfrage.