ASQF Test Challenge 2021

Willkommen  zur 2. ASQF Test Challenge

Die ASQF Test Challenge ist ein Turnier für alle Testpraktiker aus dem D-A-CH-Raum, bei dem sie ihre Fähigkeiten zeigen und sich mit anderen Testexperten messen können. Es rückt das Test-Handwerk ins Rampenlicht und gibt dem Berufsstand eine wettbewerbsfähige Veranstaltung auf nationaler Ebene.

Die ASQF Test Challenge findet am 10. November 2021 online statt und ist für alle Zuschauer offen: Mitglieder und Nicht-Mitglieder.

Warum wir überhaupt eine Test Challenge ins Leben gerufen haben und was gute TesterInnen ausmacht, können Sie im Interview mit dem Schirmherr Prof. Dr. Andreas Spillner und dem Head of Jury Maik Nogens auf dem ASQF-Blog nachlesen. Dort finden Sie auch unseren Nachbericht zur 1. Test Challenge in 2020.

9.00  Eröffnung Begrüßung

9:10 Vorstellung TestBench

9:15 Vorstellung SUT

9.25 Test Challenge 9:25 1. Fragerunde mit PO

9:50 Vorstellung der Jury-Mitglieder & Diskussionsrunde 

10:50 2. Fragerunde (15 Minuten)

11:15 Vortrag Dr. Armin Metzger “Das Berufsbild des Testens und die Agile Transformation”

12.30 Mittagspause Abgabe der Testberichte 
13.00 Auswertung Jury 3 Webinare: 

13:30 Matthias Daigl “Exploratives Testen in Fernbeziehung”

15:00 Henri Terho “Making test automation act human: Testing with machine vision”

16:30 Dzmitry Litmanovich “All-in-One e2e-Tool – Minimale Investitionskosten für Cross Browser & mobile Testing mit Hilfe von OpenSource”

18.00 Siegerehrung  Begründung der Jury-Entscheidungen

Gespräch mit den 3 besten Teams

Der Weg zum Sieg

Stellen Sie Ihr eigenes Team von Software-Testern zusammen und messen Sie sich im freundschaftlichen Wettkampf.

Die Teilnehmer müssen Teams von bis zu 4 Mitgliedern bilden. Firmenteams sind erlaubt; ggf. können sich mehrere Firmenteams anmelden.

Pro Team wird eine Anmeldegebühr von 50,00 € (netto) fällig, die per Rechnung bezahlt werden muss.

Es können sich maximal 10 Teams anmelden!

Warum 50 Euro?

Unterstützen Sie die Test Challenge mit Ihrer Team-Registrierung

Die Organisation einer derart komplexen Veranstaltung kostet viel Geld. Viele Menschen sind an diesem Projekt beteiligt und auch die Technik muss bezahlt werden.

Wir entschieden uns für eine Anmeldegebühr von 50 € für das Team, um einen Teil der Kosten zu kompensieren.

Aber diese Gebühr macht nicht nur die ASQF Test Challenge möglich, sondern wir vermeiden mit dieser Gebühr auch jegliche Fälschungen von Anmeldungen. Die Anzahl der Mannschaften ist auf 10 Teams begrenzt.

Wenn Sie nicht daran interessiert sind, zu spielen, aber unsere Vision mögen und Sie ein leidenschaftlicher Tester oder ein leidenschaftlicher Unterstützer des Software-Test-Handwerks sind – dann sind Sie eingeladen, mit jeder Art von Spende zu helfen. Wir freuen uns, eine Spendenliste aller unserer Unterstützer und Sponsoren zu erstellen. (Bankverbindung: Sparkasse Erlangen, BIC: BYLADEM1ERH, IBAN: DE 17 7635 0000 0000 0193 83)

Wenn Sie etwas spenden möchten, senden Sie einfach eine E-Mail an info@asqf.de

Das erwartet Sie!

Es wird ein erstes (optionales) 30-minütiges Treffen und eine Begrüßung und Orientierung geben.

Dies ist Teil der 3 Stunden Wettbewerbszeit, einschließlich der Einsendung der Ergebnisse.

Das ist eine lange Zeit!

Nicht wirklich. Wir vermuten, dass Sie ziemlich beschäftigt sein werden. Sie werden die ersten paar Minuten damit verbringen, die Informationen zu lesen, dann mit dem “Kunden” zu interagieren, zu entscheiden, was getestet werden soll, eine Strategie zu entwickeln, tatsächliche Tests durchzuführen und Fehler zu beheben.

Etwa nach der Hälfte der Übung müssen Sie anfangen, über den formalen Testbericht nachzudenken, der am Ende des Wettbewerbs fällig ist, und wie Sie sicherstellen können, dass Sie ihn vor Ablauf der Zeit abgeben.

Die Testperiode beträgt drei Stunden (3h), während der Ihr Team testen muss. Das tatsächliche SUT wird zu Beginn der Periode bekannt gegeben, um ein faires Spiel für alle zu garantieren.

Weder im Einhorn-Land noch in der realen Welt wird es möglich sein, alles zu testen.

Ihr Team wird sich entscheiden müssen, wie es Ihre Zeit investiert, was es testen soll, was nicht getestet werden soll, wie es sich ihm nähern soll.

Die diesjährige SUT ist eine Plattform für Entwickler*innen-Teams, die mit Kubernetes basierten Container-Anwendungen arbeiten.

Die endgültigen Ergebnisse werden die gefundenen Probleme sein (stellen Sie sicher, dass Sie jedes Problem zu jeder Zeit protokollieren) und ein Testbericht, der sich auf die wichtigsten Probleme konzentriert und den “Kunden” über den Status des SUT informiert und Fehlerbehebungen und deren Bedeutung vorschlägt (Bug Advocacy).

Warten Sie! Sie werden wahrscheinlich fragen: “Was ist wichtig? Was ist meinen Kunden wichtig?

Drei Stunden lang werden Maik Nogens, unser leitender Juror, und ein Product Owner online anwesend sein:

Nutzen Sie die Gelegenheit, um Fragen zu stellen und Antworten zu Priorität/Risiko, Folgen eines Misserfolgs, Projektdetails usw. zu erhalten. Wir schlagen vor, dass Ihr Team nach dem Lesen der ersten Informationen einige Minuten damit verbringt, Fragen zu stellen, und dann auf den Stream springt, um mit dem “Kunden” zu interagieren. Die Qualität dieses Gesprächs wird Teil Ihres Ergebnisses sein!

Die Teams werden zwei wichtige Ergebnisse erstellen: Fehlerberichte und einen Testbericht (in Deutsch).

Die Fehlerberichte sollten unkompliziert sein; jedes Team sollte Anweisungen haben, wie es Fehler einreichen kann, die ihm im Voraus per E-Mail zugeschickt werden.

Der Inhalt und das Format des Berichts ist jedem Team überlassen, aber es sollte dem Entscheidungsträger helfen herauszufinden, ob er bereit ist, das Produkt “auszuliefern”, ob es weitere Korrekturen benötigt, in was er als nächstes investieren soll und so weiter. Idealerweise würde der Bericht auch enthalten, wie Sie entschieden haben, was Sie testen wollen und wie Ihr Team seine Zeit verbracht hat.

Ihr Bericht würde zum Beispiel mit einer Beschreibung des Zustands des SUT beginnen, dann könnte er das enthalten, was Ihrer Meinung nach am wichtigsten zu testen ist; dann könnten Sie einige Details zu Ihrer Strategie und den wichtigsten Problemen, die Sie gefunden haben, hinzufügen.

Am Ende des funktionalen Wettbewerbs müssen Sie Ihren Bericht per E-Mail mit der Betreffzeile “Functional Test Report for [Team_Name]” versenden. (Die E-Mail-Adresse wird den Teams vorher mitgeteilt).

Wir erwarten, dass wir ihn “kurz nach” dem offiziellen Ende des Wettbewerbs erhalten. Im Idealfall werden die Teams dafür etwas Zeit innerhalb ihrer Zeitbox einplanen. Wir sind bereit, eine Karenzzeit von 5 Minuten zu gewähren, um sie zu erhalten.

Die reguläre Gesamtpunktzahl, die für den gesamten Wettbewerb möglich ist, beträgt 100 Punkte. Zu den funktionellen Testkategorien gehören die Bedeutung der eingereichten Fehler, die Qualität der Fehlerberichte, die Reproduzierbarkeit dieser Berichte und die Qualität des Testberichts. Eine kleine Anzahl von Bonuspunkten ist für die Art und Weise, wie die Teams mit den Preisrichtern interagieren, und für die Teamarbeit, falls diese sichtbar ist, verfügbar.

      • Bis zu 20 Punkte für den Einsatz – haben Sie die richtige Art von Fehlern eingereicht, Fehler, die uns wichtig sind?
      • Bis zu 20 Punkte für die Qualität der Fehlerberichte – Schreibstil, sind sie überzeugend, machen sie Sinn, sind sie reproduzierbar?
      • Bis zu 20 Punkte für die Qualität Ihres Testberichts
      • Bis zu 20 Punkte für die Genauigkeit Ihres Testberichts – haben Sie uns vor den richtigen Themen gewarnt?
      • Bis zu 20 Punkte für nicht-funktionale Tests, falls sich die Teams dazu entschließen, dies zu tun
      • Bonus von bis zu 10 Punkten für die Interaktion mit Richtern und dem “Kunden”

Dies gibt uns die Möglichkeit, mögliche Gewinner in mehreren Kategorien zu finden und eine objektive Möglichkeit, jedes Team zu messen.

Die drei besten Test- und Fehlerberichte werden im ASQF Mitgliederbereich online gestellt.

Dieses Jahr benutzen wir als Bugtracker die TestBench von der imbus AG als einheitlichen Bugtracker für alle Teams während der Test Challenge.

TestBench ist eine umfassende online Testmanagement-Lösung für alle Teams, die digitale Produkte entwickeln. TestBench beschleunigt alle qualitätsrelevanten Aufgaben:

  • Anforderungsmanagement mit Epics und User Stories
  • Test-Design inkl. Data-Driven-Testing
  • Testdurchführung manuell, explorativ oder automatisiert
  • Fehler-Management inkl. Synchronisation mit Jira
  • Testmanagement und Reporting

Zusätzlich bietet TestBench integrierte, innovative Team-Collaboration-Features, die die Echtzeit-Zusammenarbeit zwischen Teammitgliedern und die Kommunikation in mehrsprachigen oder international verteilten Teams nachhaltig verbessern.
Weitere Informationen und kostenfreie Basic-Lizenzen erhalten Sie auf: https://www.testbench.com/

9.00  Eröffnung Begrüßung

9:10 Vorstellung TestBench

9:15 Vorstellung SUT

9.25 Test Challenge 9:25 1. Fragerunde mit PO

9:50 Vorstellung der Jury-Mitglieder & Diskussionsrunde 

10:50 2. Fragerunde (15 Minuten)

11:15 Vortrag Armin Metzger “Berufsbild Tester”

12.30 Mittagspause Abgabe der Testberichte 
13.00 Auswertung Jury 3 Webinare: 

13:30 Matthias Daigl “Exploratives Testen”

15:00 Henri Terho “Testing & DevOps”

16:30 Dzmitry Litmanovich “All-in-One e2e-Tool – Minimale Investitionskosten für Cross Browser & mobile Testing mit Hilfe von OpenSource”

18.00 Siegerehrung  Begründung der Jury-Entscheidungen

Gespräch mit den 3 besten Teams

Die Jury

Head of Jury: Maik Nogens

Als Ausdruck seiner Leidenschaft für die Disziplin „Testing“ ist Maik Nogens Sprecher auf internationalen Konferenzen und hat viele Communities aufgebaut und aktiv begleitet.
In 2014 und 2016 hat er den Software Testing World Cup (STWC) konzipiert und implementiert und in 2017 das erste „QS Barcamp“ in Hamburg organisiert und ausgestaltet.
Er ist ein Schwarzgurt in der Miagi-Do School of Software Testing, hat an BBST und RST Kursen teilgenommen, und konzipiert und hält Workshops für agile Themen.
Seine praktische Erfahrung komplementiert er mit der Theorie und diversen Zertifikaten (CAT, CABA, IREB, ISTQB Full Advanced Level, CSM, etc.).

 

Sven Braxein

Sven Braxein ist Gründer und Geschäftsführer der TestGilde GmbH und arbeitet seit 1996 in der Beratung von IT-Projekten zu den Themen Software Qualitätssicherung und Test.
Seine inhaltlichen Schwerpunkte sind der Wissenstransfer auf die Kunden zu allen testmethodischen und testorganisatorischen Fragen und das Testmanagement in Großprojekten.

 

Elanur El Ela

Ich bin Ela El Ela, 31 Jahre alt und wohne seit 3 Monaten nun in Hannover. Davor habe ich 8 Jahre lang in Bremen gelebt und dort in 2 Softwarehäusern für Logistik IT im Bereich Qualitätsmanagement und Produktentwicklung gearbeitet und mich ISTQB zertifizieren lassen.
Ich war dort auch in einem sogenannten Innovationsteam, welches eine neue Software komplett neu „erfunden“ hat.
Zudem war ich kurz angestellt beim Bundeskriminalamt, wo ich als Junior Produktmanager mein Know How für die Sicherheit Deutschlands einbringen konnte.
Nun bin ich seit 3 Wochen bei Qcentris als Consultant eingestellt und hoffe hier noch tiefer in das Testing einsteigen zu dürfen.

 

Florian Fieber

Florian Fieber ist Gründer und Geschäftsführer der QualityDojo IT-Consulting GmbH in Berlin und als Berater und Trainer im Bereich der Qualitätssicherung von Softwaresystemen tätig. Seine Schwerpunkte liegen dabei im Testmanagement, der Testprozessverbesserung sowie der Businessanalyse von Enterprise-Anwendungen.

 

Sophie-Marie Markolf

Sophie-Marie Markolf ist Test Consultant bei der BREDEX GmbH in Braunschweig. Am liebsten begleitet sie Teams bei ihren ersten Schritten im explorativen Testen als Ensemble und verfolgt dabei ihre Leidenschaft für agile Ansätze und Interdisziplinarität in der Softwareentwicklung.

 

Benedikt Wörner

Benedikt Wörner arbeitet als agiler Testexperte sowie als Team Lead QA. Seine Leidenschaft ist es, Kunden bei der agilen Transformation zu helfen. Hierbei eröffnet er den Kunden neue Wege und Perspektiven, z.B. bei der Einführung kollaborativer Testmethoden.

 

Die Speaker und ihre Vorträge

11:15 Uhr | Dr. Armin Metzger (German Testing Board e.V.)  „Das Berufsbild des Testens und die Agile Transformation“

Abstract:
„Seit nunmehr 20 Jahren engagiert sich das German Testing Board im Rahmen des Certified Testers für die Expertisen von Tester:innen und auch für deren Berufsbild. Mit der agilen Transformation ist jedoch in den letzten Jahren das Konzept eines umfassenden Curriculums für Tester:innen deutlich in Bewegung geraten. Entwickler in den agilen Projekten werden zunehmend mit Testaufgaben betraut, so dass wir nun lieber vom „Berufsbild des Testens“ sprechen sollten.

Gerade in der agilen Welt nehmen die Komplexität der Aufgaben im Team und die Anforderungen an die Qualität der Produkte stetig und rasant zu. Schnelle Entwicklungszyklen und Technologien wie Künstliche Intelligenz, Machine Learning und IoT erhöhen den Druck auf die Projekte. Auf der anderen Seite weicht in den Organisationen die klassische Aufteilung zwischen Entwicklung und Test immer mehr auf. Daher ergibt sich in den Teams ein immer größerer Bedarf an grundlegenden Testfähigkeiten auch für die klassischen Entwicklerrollen im Team. Der Vortrag stellt die wesentlichen Herausforderungen in diesem Kontext dar und zeigt eine Analyse der nötigen Skills und Voraussetzungen an Expertisen gerade für agile Teams für die Schlüsselkompetenz der Qualitätssicherung auf.

Der Speaker:
Dr. Armin Metzger hat über 25 Jahre Erfahrung in Softwareentwicklung und -test in Industrie- und Forschungsprojekten und internationalen Gremien. Seit 2018 ist er Geschäftsführer des German Testing Board.

 

13:30 Uhr |Matthias Daigl (imbus AG) “Exploratives Testen in Fernbeziehung”

Abstract:

Explorativer Test ist eine vorzügliche Ergänzung zum klassischen Dokumenten-basierten Test.
Kernelemente sind die Mission, Timebox, Charters und Debriefing:

  • Das gemeinsame Ziel des Tests wird in einer „Mission“ formuliert. So weiß jeder, was das Team im Exploratory Test zu erreichen sucht.
  • Die Timebox gibt einen festen zeitlichen Rahmen vor.
  • „Charters“ skizzieren die zur Erreichung der „Mission“ notwendigen Aufgaben.
  • Ein Debriefing am Ende der Session erlaubt es, die Ergebnisse zu bewerten, das gewonnene Wissen zu teilen und gemeinsam die nächsten Schritte festzulegen.

All diese Kernelemente sind wichtig – am wichtigsten beim Explorativen Testen ist aber das Team.

Der Nutzen einer Exploratory Testing Session steigt erheblich mit der guten Vorbereitung (Briefing, Mission, Charters). Für den Erfolg ist es außerdem essenziell, die richtige Mischung aus Führung (was soll in der Session getan werden) und Freiraum für die einzelnen Tester zu finden. Denn Kreativität braucht Freiraum, wird aber durch Grenzen gefördert.

Und nicht nur weil besser funktioniert, was mehr Spaß macht, ist es wichtig, den Teilnehmern Kollaboration zu ermöglichen: denn gemeinsames Arbeiten macht nicht nur mehr Spaß, sondern die Kommunikation dient Wissen und Kompetenz und ist ein weiterer Ansporn für die Kreativität, die wir suchen.

Das klingt alles ganz prima, ist es auch, ist aber in der Praxis gar nicht so einfach umzusetzen.

Der Vortrag berichtet über unsere eigenen Erfahrungen, und wie wir uns im Explorativen Test entwickelt haben. Wir werfen einen detaillierten Blick auf die Herausforderungen, vor der wir bei jeder Exploratory Test Session bei der Vorbereitung, der Durchführung und dem Debriefing standen. Und wie wir es in unserer eigenen Konstellation mit mehreren geographisch verteilten Teams geschafft haben, mit der passenden Werkzeugunterstützung den Explorativen Test einfacher zu organisieren und die Ergebnisse leichter und schneller verfügbar zu haben.

 

15:00 Uhr | Henri Terho (Copado) “Making test automation act human: Testing with machine vision” (englisch)

Abstract:
In my talk I’m going to talk about how new technologies enable us to build more human like end to end testing. Current frameworks offer strong scripting tools to create tests, but they still rely on javascript or dom locators and interactions which humans don’t use. This sometimes results in situations where the test pass, as an object is on the DOM, but hidden from the screen, which would not pass manual testing. Here we can start to see new ways of creating end to end tests with a human like approach by using machine vision and AI. Here we can create platform independent tests which interact with the software in the same way as humans do and find objects on the screen using similar techniques as humans, bridging the gap between automation and user experience.

Der Speaker:
Henri Terho auf LinkedIn

16:30 Uhr | Dzmitry Litmanovich (beQualified GmbH) “All-in-One e2e-Tool – Minimale Investitionskosten für Cross Browser & mobile Testing mit Hilfe von OpenSource”

 

Abstract:
Schnell und einfach eine Testautomatisierung für Cross Browser und Mobile aufsetzen: 

Wir zeigen Dir, wie Du die Auswahl, Implementierung und Einführung eines OpenSource Testautomatisierungs-Frameworks mit speziellen Anforderungen umsetzen kannst. 

  1.  OpenSource e2e-Tool Auswahl 
  2. Integrationsmöglichkeiten 
  3. Skalierung mit Hilfe von cloudbasierten Testplattformen 
  4. Live-Demo: Gemeinsames Implementieren eines Skripts 

Der Speaker:
Dimi ist ein Testautomation Engineer mit Software Engineer Background und Leidenschaft für KI und allen anderen Innovationen – deshalb ist er „Head of Innovation“ bei der beQualified GmbH. In seinem Tagesgeschäft arbeitet Dimi mit Kunden zusammen und unterstützt sie bei der Implementierung von Java- und JavaScript / TypeScript – Testautomation – Frameworks, entwickelt und verbessert diese. In seiner Freizeit experimentiert er mit Web-Frameworks, Machine Learning und Data Mining.

Organisatoren

ASQF_Logo_2016

Fachliche Beratung & Head of Jury:
Maik Nogens (maiknogens@gmail.com)

Schirmherr
Prof. Dr. Andreas Spillner

Sponsoren

imbus-logo_300x200