Testmanagement

Testmanagement-Werkzeuge – worauf es ankommt!

Nägel schlägt man nicht mit der Zange ein, dazu hat man einen Hammer. Wie bei Vielem kommt es auf die Auswahl des richtigen Werkzeuges an. Und das gilt nicht nur für Handwerker sondern auch für Test- und Projektmanager.

Wie kann man sicherstellen, dass in einem IT-Projekt Anforderungen mit Testfällen belegt und nach erfolgtem Test erfüllt sind? Wie ermittelt man den Reifegrad von Software auf möglichst effiziente Weise, um damit den Status darstellen zu können? Die beste Antwort auf diese Fragen lautet: Durch Werkzeugeinsatz! Welches Werkzeug für das eigene IT-Vorhaben geeignet ist, hängt von unterschiedlichen Faktoren ab.  Im Gegensatz zu Excel machen sich professionelle Testmanagement-Werkzeuge jedenfalls bezahlt.

Testmanagement-Werkzeuge_Titelbild_1

Es gibt immer noch Organisationen, die versuchen mit Tabellenkalkulationen wie Excel & Co ein vernünftiges Testmanagement aufzusetzen. So sinnvoll diese einfache Lösung häufig sein mag, wundert man sich nicht selten später im Projektverlauf, dass plötzlich Entscheidungsgrundlagen für eine erfolgreiche Projektabwicklung nicht leicht ableitbar sind. Seien dies zum Beispiel korrigiert geglaubte Fehler, die in späteren Korrekturversionen wieder auftauchen oder die Häufung von Fehlern in einem speziellen Bereich. Das führt oft zu Überlast bei Mitarbeitern und dadurch letztendlich zu schlechter Softwarequalität.

Wenn man an Testmanagementwerkzeuge denkt, muss es nicht immer ein teures kommerzielles Produkt sein, auch kostengünstige Lösungen oder Open-Source-Werkzeuge stehen manch „großem“ Werkzeug nicht viel nach. Speziell die „wichtigen“ Features bieten günstige Werkzeuge in guter Qualität an.

In meiner langjährigen Tätigkeit als Testmanager konnte ich viele Erfahrungen sammeln in Bezug auf Testmanagement-Werkzeuge, die ich gerne mit Ihnen teilen möchte. In einer zweiteiligen Beitragsreihe gehe ich auf Testmanagement-Werkzeuge im Allgemeinen und auf einige Vertreter in unterschiedlichen Preisklassen näher ein und möchte das Thema mit einigen „Anti-Patterns“ des Testmanagements aus der Praxis untermalen.

Worauf kommt es bei einem Testmanagementwerkzeug an?

Gemäß dem International Software Testing Qualification Board (ISTQB®) legt man in der Testplanungsphase die Werkzeuge für den Test fest. Diese sind neben den Daten-Generatoren, Simulatoren, Last-Generatoren, Automatisierungswerkzeugen, Analyse-Werkzeuge für z.B. Netzwerk oder Datenbanken auch das Testmanagementwerkzeug. Microsoft Excel – auch wenn ich es sehr schätze und intensiv nutze – gehört hier nicht dazu, denn wir wollen:

  • das Testprojekt planen, indem wir gemeinsam mit der Entwicklung Korrekturzyklen, Übergaben und Versionen festlegen und Key-Performance-Indikatoren für die Erreichung von Meilensteinen definieren.
  • Anforderungen erfassen bzw. importieren und verwalten.
  • Testfälle und dessen Schritte gemäß ISTQB®-Standard erfassen und verwalten. Neben dem Ziel des Testfalls und den Eingangs- und Ausgangsbedingungen werden für den Soll-Ist-Vergleich Testdaten und das erwartete Ergebnis gespeichert. Optimaler Weise lassen sich Testfälle aus den Anforderungen generieren, was zu einer sehr guten Testabdeckung führen kann, wenn die Anforderungen in guter Qualität formuliert sind. Viele Testmanagement-Werkzeuge unterstützen auch die Rückverfolgbarkeit zwischen Anforderung und Testfall – siehe Abb. 1.
  • Testsuiten aus diesem Testfallvorrat definieren.

Wir werden später sehen, dass auch die Priorisierung von Anforderungen und Testfällen sehr wichtig sein kann. Während Komponenten-Tests meistens von der Entwicklung durchgeführt werden,  dienen vor allem in den Teststufen Integration, Systemtest, System-Integration und Abnahmetest Testmanagementwerkzeuge dazu, die erforderliche Transparenz herzustellen. So können Qualitätsaussagen über die Software getroffen und gegebenenfalls steuernde Maßnahmen eingeleitet werden.

All diese Informationen lassen sich auch in ein Excel-Sheet packen, aber eine übersichtliche Gestaltung ist mühsam. Besonders kritisch wird es, wenn mehrere Personen gleichzeitig daran arbeiten, ihre Anforderungen bzw. Testfälle eintragen und das Ergebnis dann per Mail versenden. Hier ist Chaos vorprogrammiert, das man mit einem geeigneten Werkzeug vermeiden kann. Auch in der nachfolgenden Testausführungsphase stößt man allzu schnell an die Grenzen von Excel.

Abb. 1 – Anforderungs-Verlinkung bis zu den Testfällen

Abb. 1 – Anforderungs-Verlinkung bis zu den Testfällen


Die Testausführungsphase

In der Testausführungsphase werden Testfälle aus den Testsuiten methodisch und strukturiert abgearbeitet. Dabei soll möglichst für jeden Testschritt bzw. Testfall der Soll-Ist-Vergleich durchgeführt und der Status für den Testfall ermittelt und gesetzt werden. Die meisten Testmanagement-Werkzeuge unterscheiden zwischen:

Tabelle 1 – Aus den Stati wird der Testfortschritt ermittelt

Tabelle 1 – Aus den Stati wird der Testfortschritt ermittelt

Besteht ein Testfall aus mehreren Schritten wird der Gesamtstatus vom Testmanagement-Werkzeug ermittelt. Wenn einmal etwas nicht OK ist, dann soll das Fehlverhalten in einem möglichst integrierten Fehlermanagement-Werkzeug dokumentiert werden. Ziel dabei ist es, die Fehler korrigieren zu lassen und in einer Korrekturversion nach zu testen. Wenig hilfreich – ja sogar chaotisch – wird es, wenn die beiden Regeln „Keine Korrektur ohne Fehlermeldung“ und „Keine Fehlermeldung ohne Testfall-Verlinkung“ missachtet und das Fehlverhalten per E-Mail an den Programmierer gemeldet wird.  Oft wird dann eine Korrektur „über den Zaun geworfen“ und  das ganze gerät in Vergessenheit. Hier erfährt man des Öfteren ein Déjà-vu: „Diesen Fehler hatten wir schon mal vor zwei Wochen!“. Wer kann sich dann noch an die Korrekturmaßnahmen erinnern und nachvollziehen, wenn er nicht von einem guten Testmanagement-Werkzeug unterstützt wird, das ihn möglicherweise gar nicht in so eine Situation kommen hätte lassen?

Fehlermanagement

Als Bestandteil des Testmanagements möchte ich kurz auf das Fehlermanagement eingehen, das im Testmanagement-Werkzeug oft integriert ist. Ein gutes Fehlermanagement hilft uns neben der Nachvollziehbarkeit von Korrekturen auch noch zu erkennen, wenn es in gewissen Bereichen der Softwareentwicklung „brennt“, d.h. wenn es z. B. in der Datenbank-Schicht oder dem WEB-Client zu erhöhtem Fehleraufkommen, Korrekturverzug oder erhöhtem Aufkommen von Rejects bzw. „Ping-Pongs“ kommt: Rejects sind jene Fehler, die seitens der Entwicklung als korrigiert gemeldet wurden, aber dann den Nachtest nicht bestanden haben. Als Ping-Pongs bezeichne ich gerne Rejects von Rejects. In all diesen Fällen müssten Testmanager und Projektmanager eingreifen, um den Projektfortschritt nicht zu gefährden. Unser Testmanagement-Werkzeug liefert uns Basismaterial, um die genannten Phänomene zu erkennen, steuernd einzugreifen und Wildwuchs nicht erst entstehen zu lassen. Als Steuerungsmaßnahme sehe ich hier z. B. Fehlerdurchsprachen, Priorisierung von Korrekturen und dergleichen.

Das Testmanagement-Werkzeug unterstützt uns auch, die Wichtigkeit des Fehlers bzw. die Dringlichkeit der Korrektur zu dokumentieren, um den Projektverlauf effizient gestalten zu können. Des Weiteren werden die Fehler gemäß des Fehlerlebenszyklus abgearbeitet. Oft ist dieser flexibel erweiterbar und anpassbar.

Abb. 2 – einfacher Fehlerlebenszyklus

Abb. 2 – einfacher Fehlerlebenszyklus

Die Verlinkung und Rückverfolgbarkeit zwischen Anforderungen zu Testfällen und gegebenenfalls zu Fehlern hilft uns, Rückschlüsse auf die Qualität der Software zu ziehen und bietet Entscheidungsgrundlagen für notwendige Eingriffe. Als Testmanager kann man z. B. leicht begründen, warum eine Anforderung erfüllt oder nicht erfüllt ist, wenn man sich nur die Verlinkung zu den Testfällen bzw. Fehler betrachtet. Ferner lassen sich Freigaben von Anforderungen auf Basis der Verlinkungen zu Testfällen ableiten und die Test-Ende-Kriterien bewerten.

Abb. 3 – Anforderungs-Verlinkung bis zu den Fehlern

Abb. 3 – Anforderungs-Verlinkung bis zu den Fehlern

Reporting auf Knopfdruck und andere i-Tüpferl

Diese Aussagen soll man natürlich in unterschiedlichen Darstellungen auf Knopfdruck für ein aussagekräftiges Reporting bekommen. Hierzu zählt Testfortschritt, Fehlertrend und Überdeckungsgrad in tabellarischer und grafischer Form. Wem die Out-of-the-Box-Lösungen zu wenig ansprechend sind und das sind sie selten, der sei hier auf Excel verwiesen, denn zum Darstellen von Grafiken auf Basis der tabellarischen Out-of-the-Box-Berichten ist die Tabellenkalkulation wiederum sehr gut geeignet.

Abb. 4 – Fehlertrends auf Basis der Daten im Testmanagement-Werkzeug (generiert mit Excel)

Abb. 4 – Fehlertrends auf Basis der Daten im Testmanagement-Werkzeug (generiert mit Excel)

Abb. 5 – Testfortschritte auf Basis der Daten im Testmanagement-Werkzeug (generiert mit Excel)

Abb. 5 – Testfortschritte auf Basis der Daten im Testmanagement-Werkzeug (generiert mit Excel)

Managementtaugliche Kurzberichte stellen gute Testmanagement-Werkzeuge auf einem frei konfigurierbaren Dashboard  aktuell, übersichtlich und knackig dar. In der Praxis werden die Dashboard-Informationen auf einer Projekt-Homepage im Intranet abgebildet.

Weitere wichtige Eigenschaften eines Testmanagement-Werkzeuges sind Zusammenarbeit mehrerer Mitarbeiter in verschiedenen Rollen an unterschiedlichen Standorten bzw. die Historisierung der Dokumente. Das Tüpferl auf dem I ist natürlich ein Zugang über Web-Browser oder ein Zugang in der Cloud, wo man nicht einmal eigene Server-Hardware benötigt. Fein und brauchbar aber oft holprig realisiert sind so manche Import- und Export-Funktionen von Anforderungen, Testfällen oder Fehlern. Systeme, bei denen eine Client-Installation erforderlich ist, möchte ich schon fast als aussterbende Exoten bezeichnen.

In der Phase Bewertung der Endekriterien und Bericht unterstützt uns das Testmanagement-Werkzeug bei der Beurteilung der Test-Endekriterien auf Basis der zu Projektbeginn festgelegten Key-Performance-Indikatoren und hilft uns auch bei der Formulierung des Testabschlussberichts, in dem die Erfüllung der Anforderungen und gegebenenfalls auch noch akzeptable offene Fehler und deren Korrekturplanung niedergeschrieben sind.

Wie Sie sehen und vielleicht auch schon selbst erfahren konnten – sehr viele Faktoren worauf es ankommt bei Testmanagement-Werkzeugen. Und die Auswahl ist groß. Im zweiten Teil meiner Beitragsserie zu Testmanagement-Werkzeuge werde ich auf typische Vertreter eingehen und Ihnen diese Werkzeuge vorstellen. Lesen Sie weiter nächste Woche!

Artikel:
Testmanagement-Werkzeuge 2: Typische Vertreter für Testmanagement-Werkzeuge

Passende Artikel

Kommentare gesperrt.