Testmanagement

Typische Vertreter für Testmanagement-Werkzeuge

Nägel schlägt man nicht mit der Zange ein, dazu hat man einen Hammer. Wie bei Vielem kommt es auf die Auswahl des richtigen Werkzeuges an. Und das gilt nicht nur für Handwerker, sondern auch für Test- und Projektmanager. Nachdem ich letzte Woche in meinem Artikel „Testmanagement-Werkzeuge – worauf es ankommt!“ auf Allgemeines eingegangen bin und versucht habe herauszuarbeiten, worauf es bei Testmanagement-Werkzeugen ankommt, möchte ich heute ein paar typische Vertreter an Testmanagementwerkzeugen kurz charakterisieren.

Tools

HP-ALM: nicht billig, aber zielführend

HP-ALM bietet alle Features, die ich im ersten Teil erwähnt habe, wie Anforderungen, Testfälle und Defects erfassen und verwalten, Rückverfolgbarkeit von Defects zu Anforderungen über Testfälle, Testfallausführung mit Stati belegen, Reporting und noch einige mehr, wenn man die entsprechenden Module zukauft: z. B. Business-Components oder Parametrisierung von Testfällen. Diese Funktionalitäten sind zwar recht praktisch, aber dennoch kompliziert in der Handhabung. HP-ALM ist sehr flexibel konfigurierbar; der Bug-Life-Cycle ist ebenfalls erweiterbar, falls der Out-of-the-Box Ansatz nicht reicht. Kritische Stimmen bemerken oft, dass HP-ALM eine nicht-schlanke Lösung ist und in manchen Bereichen aufgeblasen und überladen wirkt und überdies kompliziert in der Bedienung ist. Der Aufbau ist aber dermaßen gestaltet, dass man Module, die man nicht zwingend benötigt, weglassen kann. Eine Spezialität von HP-ALM sind die Business-Components. Business Components werden zu Business Process Testfällen zusammengefügt und sind wiederverwendbare Einheiten, die eine spezifische Aufgabe in einem Business Prozess erfüllen. Sie beschreiben den Zustand vor und nach der Ausführung der Aufgabe. Eine weitere wichtige Besonderheit ist die Möglichkeit, Testfälle optional mit Parametern zu versehen. Solche Testfälle werden einmal spezifiziert und laufen mit unterschiedlichen Datensätzen, um unterschiedliche Bedingungen testen zu können. Ein wirklich gutes Feature ist die Generierung von Testfällen aus Anforderungen. Mit der Funktion „Convert to Test“ können aus Anforderungen Testfälle bzw. Testschritte generiert werden. Die automatische Verlinkung zu den Anforderungen, aus denen generiert wurde, ist für mich eine selbstverständliche Funktionalität. Das User-Interface hat in der aktuellen Version 12.0 ein wirklich guttuendes Facelifting erfahren, obgleich die Vorgängerversionen schon eine ausreichende Usability aufwiesen.

TestRail: Schlanke Lösung, ohne Rückverfolgbarkeit

Während einer Werkzeug-Evaluierung bin ich auf das Werkzeug TestRail gestoßen. TestRail ist eine kommerzielle, schlanke, einfache Lösung zur Verwaltung von Testfällen, die entweder installiert oder in der Cloud verwendet werden kann. Die Testfälle lassen sich in Sections gut und übersichtlich strukturieren. Aus diesem Testfall-Vorrat werden auf einfache Art und Weise Testsuiten definiert, die strukturiert durchgeführt werden. Beim Zuweisen von Verantwortlichkeiten zu Teammitgliedern werden optional Notifications per Mail versendet. Out-of-the-Box werden brauchbare Reports angeboten, die am Dashboard dargestellt oder exportiert werden können. Es gibt auch unterschiedliche Rollen, wie z. B. Designer, Tester, Lead und Guest. Leider fehlt ein integriertes Anforderungs- und Fehlermanagement, wodurch die Funktionalität der Rückverfolgbarkeit nicht geboten wird. Dem gegenüber stehen die Vorteile: Cloud bzw. Installation, Preismodel, ansprechende Oberfläche und intuitive, einfache Bedienung.

TestLink: intuitiv aber langweiliges Layout

Wer sich lieber in der Open-Source-Welt bewegen möchte, dem sei das Werkzeug TestLink empfohlen. TestLink wird (noch) nicht in der Cloud angeboten. Hier ist eine Installation in der eigenen Hardwarelandschaft erforderlich. Zum Betrieb sind ein Datenbank- und ein Webserver notwendig, die alle auf dem gleichen Rechner installiert sein können. Installation und Konfiguration gehen reibungslos von statten. Mit TestLink können Anforderungen verwaltet werden, wobei die Rückverfolgbarkeit von den Testfällen gewährleistet ist. Leider fehlt ein integriertes Fehlermanagement. Im Open-Source-Bereich findet man hier Mantis oder Bugzilla, die sehr einfach zu bedienen, stabil sind und auch professionell eingesetzt werden. Die Verlinkung zu Testfällen muss da dann aber manuell durch Erfassen des Links oder der Fehlernummer geschehen, was eine gewisse Disziplin der Tester erfordert. Das Reporting liefert alle wichtigen Informationen in HTML bzw. im Word- oder Excel-Format, wo man die Ergebnisse gefälliger darstellen kann. Die Bedienung von TestLink ist zwar einfach und intuitiv gestaltet, jedoch wirkt die Benutzeroberfläche in der aktuellen Version 1.9.9 mehr als veraltet, was das Gesamtbild sehr trübt.

Tarantula: OpenSource Werkzeug mit professionell erscheinendem Layout

Auf den ersten Blick erscheint Tarantula höchst professionell und die Oberfläche mutet äußerst modern an. Teilweise erscheint aber trotzdem die Bedienung in manchen Bereichen etwas umständlich. Vielleicht muss man hier länger damit arbeiten und Erfahrungen sammeln um sich daran zu gewöhnen. Bei Tarantula gibt es Anforderungsmanagement, Testfallmanagement, Reporting und Import- und Export-Funktionen. Ein integriertes Fehlermanagement sucht man vergeblich. Stattdessen bietet Tarantula eine Verlinkung zu externen Fehlermanagement-Werkzeugen wie z. B. Bugzilla an. Soll eine große Anzahl von Anforderungen oder Testfällen verwaltet werden, kann es schnell unübersichtlich werden. Die Verlinkung zwischen Testfällen und Anforderungen erfolgt per Drag&Drop, wenn man einmal dahintergekommen ist, wie es funktioniert. Auch die Behandlung von Anwenderfehlern ist noch nicht ganz ausgereift. Es erscheinen des Öfteren Dialogboxen mit abgeschnittenem Text und dergleichen. Das Reporting liefert wie bei vielen Werkzeugen nur brauchbare Rohdaten. Die Verwendung in der Cloud ist zurzeit nicht möglich, es werden keine neuen SaaS (Software as a Service)  Installationen angeboten.

TestTrack: Sehr gute All-In-One-Lösung

TestTrack ist ein kommerziell erhältliches Testmanagement-Werkzeug, das alle erforderlichen Bereiche angefangen vom Anforderungsmanagement, über die Testfallverwaltung, das Fehlermanagement bis hin zum Berichtswesen abdeckt. Ich habe die Cloud-Variante evaluiert und musste dabei feststellen, dass es sehr große Überdeckungen zu HP-ALM gibt. Lediglich Business-Components und das Parametrisieren von Testfällen gibt es hier nicht. Diese Funktionalitäten sind zwar sehr brauchbar, um effizient Testfälle und Varianten generieren zu können, werden aber oft in der Praxis wenig genützt. Auch das Generieren von Testfällen aus den Anforderungen geht ab, was schon ein größeres Manko darstellt. Generell wirkt die Bedienung sehr modern und man findet sich schnell zurecht. Einzig die Anordnung der Elemente „Issue Tracking“, „Testing“, „Requirements“, „Folders“ und „Reports“ könnte es zu hinterfragen geben, aber das ist auch nur eine subjektive Meinung. Für das Reporting stehen eine jede Menge an vorgefertigten Vorlagen zur Verfügung. Da die Grafiken, die wie auch bei vielen anderen Werkzeugen sehr einfach wirken, werden wohl eher als Rohdaten für das Projektreporting herangezogen. Leider habe ich eine Exportfunktion nicht vorgefunden und musste mit Drag&Drop die Reports verfeinern. Sehr gut hat mir die Out-of-the-Box Benachrichtigungsfunktion gefallen, bei welcher die gerade verantwortlichen Mitarbeiter per Mail über deren offene Tasks informiert werden. Weniger gut finde ich die Tatsache, dass es nicht möglich ist, Testfälle mit Prioritäten zu belegen – aber vielleicht ist das auch nur in der Demoversion nicht möglich gewesen. Preislich würde ich TestTrack im Mittelfeld ansiedeln.

Polarion und Jira kurz betrachtet

Polarion, eine webbasierte Anwendung zur Verwaltung von Anforderungen, Testfällen und Fehlern bietet eine gut funktionierende Schnittstelle zum Import von Testfällen aus Excel an. Neben der Importfunktion können Testfälle natürlich auch manuell erstellt werden. Testfälle werden mittels Templates einfach zu Runs zusammengefasst und diese dann während der Durchführung abgearbeitet. Auch ein sehr mächtiges Reporting steht zur Verfügung. Die Erstellung von Artefakten (Anforderungen und Fehler) in Polarion ist stark workflow-basiert, was aufgrund der Konfigurationsmöglichkeiten manchen Anwender leicht überfordern kann.

Jira ist eine webbasierte Anwendung zur Verwaltung von Fehlern, Problemen und Aufgaben. Erweiterungen für eine Spezialisierung in Richtung Testfallverwaltung und Dokumentenverwaltung lassen sich mit den Add-Ons Zephyr und Confluenze leicht realisieren. Der Mehrwert von Zephyr besteht in der Gestaltung von Berichten, wie z. B. wöchentliche Statusberichte für Fehlertrend und Testfortschritt, sowie durch die Unterstützung von Testfällen, die als spezielle Tasks realisiert sind.

Die Cloud: Aktueller Trend mit vielen Vorteilen  

Eine Tendenz in Richtung Sofware as a Service (SaaS) ist auch im Bereich Testmanagement gegeben. Viele Hersteller bieten bereits ihre Werkzeuge in der Cloud an. Das hat  vor einiger Zeit noch nach Zukunftsmusik geklungen, ist aber heute fast schon ein Must-Have. Auch Open-Source-Produkte werden in Cloud-Lösungen gehostet, aber meistens nicht kostenfrei. Egal ob kommerziell oder Open-Source man erspart sich gerade in der Evaluierungsphase die Installationen und Deployments im eigenen Hardwarepark und somit Zeit und Geld. Nach der Auswahl des richtigen Werkzeuges kann man Werkzeuge in der Cloud mieten und diese sofort nach der Registrierung nutzen. Dabei erspart man Kosten für Server in der Anschaffung, Betrieb und Wartung. Demgegenüber steht der Nachteil, dass sensible Daten „irgendwo“ im Internet abgelegt werden und möglicherweise gehackt werden können. Auf alle Fälle sind die Lizenzmodelle genau zu studieren, da sich oft günstig erscheinende Lösungen langfristig als Kostenfallen herausstellen können. In diesem Falle würde man mit einer lokalen Installation besser fahren.

Fazit oder wie der Mann mit dem Nagel zum Hammer kommt

Eine Empfehlung nach dem richtigen und wahren Testmanagement-Werkzeug kann und möchte ich hier aufgrund der Kontextabhängigkeit nicht geben. Erfahrungen, Projekt/Programm-Größe, Umfeld, Budget, Schulungsbedarf und eine eventuell vorhandene bzw. zu schaffende Serverlandschaft oder Infrastrukturüberlegungen müssen abgewogen werden, um sich auf ein Werkzeug einzulassen. Nur so kann die geforderte Qualität in vollem Ausmaß erreicht werden. Die Vorteile für ein professionelles Werkzeug liegen aber klar auf der Hand und rechtfertigen zusätzlichen finanziellen Aufwand und garantieren einen Return-on-Investment.

Frei nach Paul Watzlawicks „Anleitung zum Unglücklichsein“ [PW] – und hier im Besonderen „Die Hammergeschichte“ – möchte ich abschließend doch noch eine Empfehlung zum Erfolgreichsein geben, damit es niemanden wie dem Mann mit dem Nagel in dieser Geschichte ergeht: Dieser Mann möchte ein Bild aufhängen, hat einen Nagel, nur der Hammer fehlt ihm. Seinen Nachbarn, der einen Hammer besitzt, will er zwar fragen, grübelt aber lange darüber nach, warum ihm vielleicht der Nachbar den Hammer nicht borgen will. Und so stürzt er nach der Grübelei hinüber zum Nachbarn und schreit ihn an „Behalten Sie Ihren Hammer!“ ohne ihn überhaupt gefragt zu haben.  Und hier meine Empfehlung: Falls Sie Fragen haben oder Beratung zur Werkzeug-Auswahl bzw. zum Werkzeug-Einsatz benötigen, kontaktieren Sie einen Experten bzw. gerne auch mich! Ich freue mich auf einen öffentlichen Austausch hier am Blog oder auch via blog@anecon.com.

 

Artikel:
Testmanagement-Werkzeuge 1: Testmanagement-Werkzeuge – worauf es ankommt!

Passende Artikel

Kommentare gesperrt.