TAC 2022 – Eine Schatzsuche der Test Automatisierung

27.10.2022
Anna-Christina Feldhusen

Erschöpft aber glücklich zeigten sich die  TeilnehmerInnen am Ende der ersten ASQF Test Automation Challenge. Vom 12. bis 14. Oktober trafen sieben Teams aus Indien, Deutschland, Portugal und Ungarn aufeinander, um vor einer  internationalen Jury ein Konzept zur Testautomatisierung für eine zuvor unbekannte reale Software (SUT) zu entwickeln und auszuführen .

Die Test Automation Challenge, entwickelt u.a. mit Head-Juror Maik Nogens (diconium), richtet sich an Testautomatisierungs-Fans aus aller Welt. Nach der (manuellen) ASQF Test Challenge, die sich bereits erfolgreich etabliert hat, hat der ASQF mit der Test Automation Challenge (TAC) nun ein weiteres neues Event-Format im Angebot.

Nach der ersten Präsentation des Arbeitsmaterials – der SUT “webmate.io”, bereitgestellt von der Testfabrik – hatten die Teams am 12. Oktober einen halben Tag Zeit, um ein Automatisierungskonzept zu erstellen und dieses dann einen Tag später der Jury und dem Publikum vorzustellen. Danach ging es an die Durchführung der Automatisierung, die mit sehr unterschiedlichen Tools vorgenommen wurde, u.a. Tosca und Cypress. Schließlich wurde es richtig spannend, denn die Teams präsentierten in einem letzten Pitch ihre komplette Testautomatisierung.

Abgerundet wurde die TAC von vier Vorträgen, die einen tieferen Einblick in die Welt der Testautomatisierung erlaubten. So sprachen mit Florian Pilz (Zeiss Digital Innovation) und Mark Winteringham (Ministry of Testing) zwei Jury-Mitglieder darüber, was Automation Engineers überhaupt tun und was es mit Design Patterns in der Testautomatisierung auf sich hat. Johannes Dienst (askui) und Christian Baumann (MaibornWolff) wiederum gingen in ihren Vorträgen auf die Dos and Don’ts der Testautomatisierung und die Herausforderungen der User Interface (UI) Automation ein.

Wie die Teams die erste ASQF TA Challenge wahrgenommen haben und was sie gelernt haben, offenbarten sie im Interview, das kurz vor der Siegerehrung durchgeführt wurde. Sie zeigten sich überrascht von dem Umfang der SUT, bewerteten webmate.io aber als sehr interessant und faszinierend. Die Größe der SUT war definitiv eine Herausforderung, wie Thomas, Kapitän vom Team „Die Neos“ meinte: „Man muss herausfinden, auf was man sich fokussiert und was automatisiert werden muss.“ Dies bestätigte auch Siddarth, Teamkapitän von den „Automation Annihilators“ und verglich die Challenge mit einer Schatzsuche nach z.B. Use Cases. Man müsse die richtigen Pfade dafür finden, so Kapitänin Beyza vom Team „Schnelltest“.

Frederic Burgard, Product Owner für webmate.io, zeigte sich sehr beeindruckt von der Arbeit der Teams – in der kurzen Zeit wurde mehr Reverse Engineering von den Teams durchgeführt als erwartet. Für die Weiterentwicklung ihres Tools erhielt webmate.io gutes Feedback und eine Übersicht der wenigen gefundenen Bugs. Gleichzeitig wurde das Interesse geweckt, im nächsten Jahr mit einem eigenen Team bei der Test Automation Challenge anzutreten.

Auf die Frage hin, wie zufrieden die Teams mit ihrer eigenen Arbeit sind, betonten viele den Teamzusammenhalt. Marco S. vom Team „Enigma“ betonte, dass das Team sich durch dieses Erlebnis noch besser kennengelernt habe und man dabei nochmal merkte, dass man sich aufeinander verlassen könne. Dieser Aussage stimmten auch die anderen Teams enthusiastisch zu.

Hervorgehoben wurde die TA Challenge auch als Lernmöglichkeit und Fortbildung: Die Teams konnten bei den Präsentationen der Konzepte auch von den anderen Teams lernen. Gerade als Kapitän eines eher neueren Automatisierungsteams „DMI_Au2Moves“ war Teamkapitän Rahul dankbar, weil das Team sich auch so mit den Fragen beschäftigte „Was können wir noch alles automatisieren? Wie kreieren wir ein gutes Framework?“ und damit mehr Erfahrungen für die zukünftige Arbeit sammeln konnte. Daneshwari vom Team „Qnit‘s Pathfinders“ betonte wiederum, dass das Team erneut gelernt habe, wie man ein System in einer Stresssituation versteht und wie sehr es dann hilft, wenn ein Team gut zusammenarbeitet. Tamas von ZDI Hungary bestätigte dies und legte das Augenmerk auf die Priorisierung von Aufgaben, die in so einem kurzen Zeitraum besonders wichtig ist.

Nicht nur in den Testing Teams herrschte ein guter Austausch, hohe Motivation und ein entsprechend positiver Teamgeist – auch die Jury genoss die gemeinsame Arbeit im Hintergrund bei der Bewertung der Konzepte und Automatisierungsergebnisse. Maik Nogens, Head of Jury, hob besonders die Interaktivität in der Jury und mit den Teams hervor – bei den Pitches der Teams gab es viele interessierte Nachfragen. Gelernt haben nicht nur die Testing Teams, sondern auch die Jury – im positiven Umfeld der Test Automation Challenge fanden alle Inspiration für die weitere Arbeit rund um Testautomatisierung.

Die harte Arbeit der Teams führte letztlich auch zu einem engen Kopf-an-Kopf-Rennen bei der finalen Bewertung: Auf dem dritten Platz mit einem Preisgeld von 150 Euro sowie dem Fachbuch “Test Automation Fundamentals” landete das Team „Die Neos“. So lieferten Thomas Beutlich, Martin Gebert, Jan Gietzel und Marcel Richter eine der unterhaltsamsten Präsentationen. Jury-Mitglied Carina Brandt hob in der Begründung für die Platzierung das tiefgehende Verständnis der Codierung und Verwendung der Rest-API zusammen mit dem mehrstufigen Ansatz und dem einfachen Proof-of-Concept hervor.

Der zweite Platz ging an das Team „Qnits pathfinder“ mit einem Preisgeld von 300 Euro sowie T-Shirts von TSTR. Laut Laudatio von Jurymitglied Jörg Sievers bestach das Team mit Sebastian Kranz, Fatime Memet und Daneshwari Patil vor allem durch das gut strukturierte Konzept und die Automatisierungsstrategie, in der auch die Risiken sehr gut erklärt wurden. Die goldene Regel des Triple A „Arrange, Act and Assert“ wurde ebenfalls ausgezeichnet eingehalten.

Nach Portugal an das Team „Enigma“ ging schließlich der 1. Platz – Marco Pinho, Ricardo Andrade, João Matos und Marco Silveira gewannen 600 Euro Preisgeld und ein Raspberry Pi-Roboter-Kit. Das Gewinnerteam imponierte der Jury sehr. Jury-Mitglied Gwen Diagram gratulierte sehr herzlich im Namen der Jury. Besonders die Tiefe des Konzept-Pitches zusammen mit der Gründlichkeit, mit der die SUT in dem engen Zeitrahmen untersucht wurde, und des Testens der REST APIs faszinierte die Jury. Gwen Diagram betonte außerdem das sehr gute Test-Framework, das sehr sauber und einfach aufgebaut war, zusammen mit der Testabdeckung und den gefundenen Bugs. Die Jury war einer Meinung: ein hochverdienter 1. Platz. Auch der ASQF gratuliert nochmal an dieser Stelle.

An dieser Stelle dankt der ASQF außerdem der ehrenamtlichen Jury, ohne deren Unterstützung die Test Automation Challenge nicht möglich gewesen wäre. Ein besonderes Dankeschön geht auch an die Sponsoren BREDEX, Nagarro, TSTR und Testfabrik.

ASQF-Mitglieder können im Mitgliederbereich nachsehen, wie die Testkonzepte der Teams aussehen und sich die Aufzeichnungen der Vorträge ansehen.

 

 

0 Kommentare

Einen Kommentar abschicken

Bitte melden Sie sich an, um einen Kommentar zu hinterlassen.