Testing

Testprozessverbesserung mit TPI NEXT

TPI NEXT ist ein Modell zur Verbesserung von Testprozessen. In diesem Artikel wird das Modell vorgestellt und über die Erfahrungen bei der praktischen Anwendung in einem Assessment bei einem unserer Kunden berichtet. TPI NEXT ist eine registrierte Marke von Sogeti Nederland B.V., siehe auch [Sog12]

Florian Fieber

Author

18.07.2019
Lesezeit: 12 Minuten
17 Views

Durch den Testprozess soll die Qualität der entwickelten Produkte verbessert werden. Je besser der Testprozess ist, desto effektiver, effizienter oder schneller können die Produkte qualitätsgesichert werden. Die Qualität eines Produkts hängt somit auch von der Qualität der Entwicklungsprozesse ab – da kein Prozess perfekt ist, gibt es immer Möglichkeiten, besser zu werden.

Die Bedeutung von TPI NEXT

TPI NEXT ist ein Modell zur Testprozessverbesserung (Test Process Improvement) und liefert ein standardisiertes Vorgehen zur Analyse von Prozessen, Bestimmung der Prozessreife und Verbesserung von Prozessen. Es analysiert den Ist-Zustand eines Testprozesses und wird eingesetzt, um dessen relative Stärken und Schwächen zu bestimmen [Sog12]. TPI NEXT ist ein etabliertes Modell, welches auch in den ISTQB-Lehrplänen zum „Test Manager (Advanced Level)“ [GTBTM] sowie „Improving the Testing Process (Expert Level)“ [GTBTP] behandelt wird.

Abbildung 1 zeigt die Bausteine des Modells. TPI NEXT unterteilt den Testprozess in zusammenhängende Aspekte (die Kernbereiche), jeder Kernbereich kann einen unterschiedlichen Reifegrad haben („Initial“, „Kontrolliert“, „Effizient“ oder „Optimierend“ – wobei der Reifegrad „Initial“ immer automatisch erreicht ist). Die Kombination der Kernbereiche bestimmt den Reifegrad des gesamten Testprozesses. Die Anforderungen für die Reifegrade der Kernbereiche werden über Kontrollpunkte definiert – ein Kernbereich hat einen bestimmten Reifegrad erreicht, wenn alle zugehörigen Kontrollpunkte erfüllt sind. Die Testreifematrix liefert eine Übersicht aller Kernbereiche, Kontrollpunkte und der jeweiligen Reifegrade.

Abb. 1: Übersicht der Bausteine von TPI NEXT

Das Modell ermöglicht eine schrittweise Verbesserung von niedrigen zu höheren Reifegraden. Jeder Verbesserungsschritt wird als eine Menge von Kontrollpunkten aus einem oder mehreren Kernbereichen dargestellt (durch Gruppierungen). Verbesserungsvorschläge und Enabler liefern Informationen, die einer Beschleunigung der Reifegraderhöhung dienen.

Die Herausforderung: Wie gut ist unser Testprozess?

Unser Kunde ist international tätig im Bereich von Automatisierungslösungen für Produktionsprozesse und Gebäudeanwendungen. Die Produktpalette umfasst dabei unter anderem Geräte zur Steuerungstechnik, HMI-Geräte und I/O-Systeme inkl. Software – von der Firmware bis zu webbasierten Managementkonsolen. Die Produkte werden von verschiedenen Teams intern entwickelt und getestet, wobei die Entwicklungsabteilung knapp 200 Personen umfasst, davon rund 30 im Bereich des unabhängigen Integrations- und Systemtests.

Der Erfolg unseres Kunden basiert wesentlich auf der Qualität seiner Produkte, die entwicklungsbegleitende Qualitätssicherung ist unternehmenskritisch und von hoher Bedeutung. Um seinen Testprozess weiter zu verbessern, wollte unser Kunde eine Bestandsaufnahme und Bewertung des Testprozesses durchführen lassen, um auf dieser Grundlage sinnvolle Verbesserungsmöglichkeiten zu identifizieren und umzusetzen. Die Bewertung des Testprozesses sollte durch uns als externen und neutralen Partner in einem internen Assessment durchgeführt werden. Basierend auf den Projektzielen haben wir unserem Kunden für dieses Vorhaben den Einsatz des TPI NEXT-Modells empfohlen.

Vorbereitung des Assessments

Festlegung der Projektziele
Zunächst haben wir in einem Workshop mit den Verantwortlichen der verschiedenen Produktlinien die gemeinsamen Ziele der Prozessverbesserung erarbeitet und priorisiert. Im Ergebnis hatten wir eine abgestimmte, von allen wichtigen Stakeholdern mitgetragene Grundlage für das weitere Projektvorgehen inkl. der Bereitstellung der notwendigen Ressourcen.

Unser Kunde hat in den vergangenen Jahren mit hohen Aufwänden die internen Testprozesse aufgebaut, weiterentwickelt und strukturiert. Das wesentliche Ziel des Assessments bestand daher darin, den aktuellen Zustand der Testprozesse zu bewerten. Diese Bewertung sollte zum einen dazu dienen, die Rentabilität der investierten Aufwände besser bewerten zu können, und zum anderen dazu, eine Basis für zukünftige Verbesserungsmaßnahmen zu haben.

Auswahl von Referenzprojekten
Bereits in der Planung des Verbesserungsprojekts hat sich gezeigt, dass es im Unternehmen nicht den einen, einheitlichen Testprozess gibt. Vielmehr gibt es – aufgrund der Vielzahl und Heterogenität der Produkte und Teams – unterschiedliche, projektspezifische Testprozesse mit unterschiedlichen Reifegraden. Diese Rahmenbedingung sollte bei der Bewertung folglich entsprechend berücksichtigt werden.

Um eine möglichst große Bandbreite des Testprozesses im Assessment abzudecken, haben wir gemeinsam mit den Stakeholdern vier repräsentative Referenzprojekte ausgewählt. Anschließend wurden in jedem Referenzprojekt Mitarbeiter in unterschiedlichen Rollen (u. a. Auftraggeber, Projektleiter, Entwicklungsleiter, Entwickler, Testmanager und Tester) für das Assessment ausgewählt. Insgesamt waren damit knapp 40 Personen an den folgenden Interviews beteiligt.

Projektbegleitendes Marketing
Neben den Projektzielen haben wir von Anfang an durch entsprechende Informationsveranstaltungen, Q&A-Sessions und Wiki-Artikel Transparenz im Projekt hergestellt und damit sichergestellt, dass das Assessment bei allen Mitarbeitern ausreichend bekannt und die notwendige Akzeptanz vorhanden ist.

Abb. 2: In der Testreifematrix werden in den Zeilen die 16 Kernbereiche dargestellt und in den Spalten die Reifegrade. Die einzelnen Felder stellen die Kontrollpunkte dar, wobei jeder Kernbereich-Reifegrad-Kombination jeweils zwei bis vier Kontrollpunkte zugeordnet sind. Die erfüllten Kontrollpunkte werden farblich markiert. In diesem fiktiven Beispiel (nicht aus dem Assessment) befindet sich beispielsweise der Kernbereich „Engagement der Stakeholder“ auf dem Reifegrad „Initial“, der Kernbereich „Teststrategie“ auf „Kontrolliert“ und der Kernbereich „Metriken“ auf „Effizient“

Projektspezifische Konfiguration von TPI NEXT

Grundsätzlich umfasst TPI NEXT 16 Kernbereiche in 3 Kategorien, die Kernbereiche decken in ihrer Gesamtheit alle Aspekte eines Testprozesses ab (siehe Tabelle 1). Über alle Kernbereiche und Reifegrade gibt es in dem Modell insgesamt 157 unterschiedliche Kontrollpunkte.

Tabelle 1: Kategorien und Kernbereiche von TPI NEXT

Die Berücksichtigung von vier Referenzprojekten hätte zunächst auch eine Vervierfachung des Aufwands für das Assessment bedeutet, da in jedem Referenzprojekt alle 157 Kontrollpunkte hätten abgefragt werden müssen.

Auswahl von Kontrollpunkten
Um den Aufwand dennoch in einem vertretbaren Rahmen zu halten, aber auch aufgrund der Tatsache, dass es sich um eine erste Bewertung des Testprozesses handelte (und somit eine gewisse Unsicherheit bzgl. der zu erwartenden Reifegrade herrschte), konzentrierten wir uns daher ausschließlich auf die Kontrollpunkte im Reifegrad „Kontrolliert“. Für das Assessment waren somit noch 59 Kontrollpunkte pro Referenzprojekt relevant.

Vorbereitung der Interviewfragen
Die Kontrollpunkte sind die „Maßeinheiten“ von TPI NEXT. Ein Kontrollpunkt ist als Aussage formuliert, die bestätigt oder widerlegt werden kann (z. B. „Der Testplan ist mit dem Auftraggeber abgestimmt.“). Wenn die Aussage für einen Testprozess zutrifft und ausreichend belegt werden kann, ist der Kontrollpunkt erfüllt. Ein Kontrollpunkt bezieht sich dabei immer auf einen Kernbereich und einen Reifegrad.

Die Kontrollpunkte sind sehr abstrakt gehalten und die damit verknüpften Fragen können (und sollten) nicht direkt an die Interviewteilnehmer gestellt werden. Auf Basis der relevanten Kontrollpunkte sowie der Unternehmens- und Projektspezifika wurde daher ein Leitfaden zur strukturierten Durchführung der Interviews entwickelt, wobei für jeden Kontrollpunkt unternehmensspezifische Fragen erarbeitet wurden.

Da nicht jeder Kontrollpunkt für jede Rolle (und damit für jeden Interviewteilnehmer) relevant ist, wurden die einzelnen Fragen den unterschiedlichen Rollen zugeordnet. Hierbei sollte sichergestellt werden, dass eine einzelne Frage redundant durch mehrere Teilnehmer beziehungsweise aus unterschiedlichen Rollen behandelt wird.

Durchführung der Interviews

Die Interviews wurden mit den Mitarbeitern persönlich in Einzelgesprächen in einem Zeitraum von zwei Wochen durchgeführt. In den Interviews konnten anhand des zuvor erarbeiteten Leitfadens alle ausgewählten Kontrollpunkte des Modells behandelt werden, zur Validierung wurden teilweise noch ergänzende Dokumenten- und Werkzeugsichtungen am Arbeitsplatz der Interviewten durchgeführt.

Auswertung und Ergebnisse des Assessments

Unterschiede und Gemeinsamkeiten der Referenzprojekte
Bereits während der Interviews zeigte sich, dass es zwischen den Referenzprojekten in den Kernbereichen der Kategorie „Stakeholderbeziehungen“ sehr große Gemeinsamkeiten gab, diese Kernbereiche wurden daher für alle vier Projekte gemeinsam bewertet. Die Kernbereiche der Kategorien „Testmanagement“ und „Testkompetenz“ wurden für jedes Projekt separat bewertet und individuelle Verbesserungsvorschläge abgeleitet.

Testreifematrix zur Übersicht der Ergebnisse
Die Testreifematrix von TPI NEXT visualisiert sehr anschaulich die Ergebnisse eines Assessments und bietet einen guten Überblick zur Identifikation von Verbesserungspotenzial.

Als Übersicht der Reifegrade der Kernbereiche wurde für jedes Referenzprojekt eine eigene Testreifematrix erstellt, wobei die Reifegrade der Projekte durchaus erkennbar unterschiedlich ausfielen (siehe Abbildung 3).

Abb. 3: Im Vergleich zeigen sich deutliche Unterschiede im Reifegrad der Referenzprojekte

Die Testreifematrix diente damit als Ausgangspunkt der detaillierten Bewertung der einzelnen Kontrollpunkte, wobei insbesondere die nicht erfüllten Kontrollpunkte von Interesse waren.

Ableitung von Verbesserungsmöglichkeiten
TPI NEXT liefert für jeden Kernbereich mögliche Verbesserungsvorschläge zur Erhöhung des Reifegrads. Allerdings sind diese Vorschläge eher als Beispiele zur Formulierung von konkreten Verbesserungsmaßnahmen zu verstehen, da sie teilweise recht abstrakt gehalten sind. Sinnvolle Verbesserungsmaßnahmen sollten daher immer im jeweiligen Unternehmenskontext spezifisch ausgearbeitet werden.

In diesem Assessment haben wir für jedes der vier Referenzprojekte für jeden nicht erfüllten Kontrollpunkt im Reifegrad „Kontrolliert“ spezifische Verbesserungsmaßnahmen erarbeitet, wobei die Verbesserungsmaßnahmen für die Kategorie „Stakeholderbeziehungen“ referenzprojektübergreifend formuliert wurden.

Ein Beispiel: Für den Kernbereich „Teststrategie“ wurden dabei unter anderem folgende Verbesserungsvorschläge gemacht:

In der aktuellen Teststrategie der Organisation werden nur die Teststufen Integrations- und Systemtest berücksichtigt. Es sollten jedoch alle Teststufen abgebildet werden, inkl. des Komponententests.
Die Verteilung der Testaufwände auf die verschiedenen Teststufen erfolgt nur implizit. Die Verantwortlichkeiten und Aufgaben der verschiedenen Teststufen sollten explizit abgestimmt und festgelegt werden.
Regressionstests werden nicht systematisch gesteuert. Es sollte eine Strategie für Auswahl und Durchführung von Regressionstests erarbeitet werden.

Schrittweise Verbesserung
Bei der Vielzahl nicht erfüllter Kontrollpunkte und entsprechender Verbesserungsmaßnahmen stellt sich grundsätzlich die Frage nach einer sinnvollen Reihenfolge der Umsetzung. TPI NEXT ermöglicht eine schrittweise Verbesserung mithilfe von 13 aufeinander aufbauenden Gruppierungen (engl. Cluster, siehe Abbildung 4) von Kontrollpunkten. Jedes Cluster besteht aus Kontrollpunkten aus einem oder mehreren Kernbereichen. Die Gesamtheit der Kontrollpunkte eines Clusters ergibt somit einen sinnvollen Verbesserungsschritt.

Abb. 4: Die Cluster A bis M gruppieren zusammengehörende Kontrollpunkte verschiedener Kernbereiche, in diesem Beispiel sind Cluster A bis C farblich hervorgehoben

Umsetzung der Verbesserungsmaßnahmen

Bei der Auswahl und Umsetzungsreihenfolge unserer vorgeschlagenen Verbesserungsmaßnahmen haben wir uns an den Clustern orientiert, jedoch nicht dogmatisch. Maßnahmen, die nach dem Modell zwar erst in einem späteren Schritt vorgesehen sind, jedoch nur wenig Aufwand in der Umsetzung bedeuten beziehungsweise motivierend für das Team sind, wurden vorgezogen („Quick Wins“).

Die Ergebnisse des Assessments und die identifizierten Verbesserungsmaßnahmen wurden allen vier Projektteams in eigenen Workshops vorgestellt und gemeinsam mit den Teilnehmern diskutiert.

Dabei wurde mit den Teams die Auswahl und Priorisierung der Verbesserungsvorschläge durchgeführt. Dieses Vorgehen stellte aus unserer Sicht eine deutlich höhere Akzeptanz hinsichtlich der Verbesserungsmaßnahmen dar, als wenn diese den Teams vorgeschrieben worden wären. Die Teams waren hierbei sehr eng eingebunden und konnten sich sehr gut mit den jeweiligen Maßnahmen identifizieren.

Die Teams setzen die Verbesserungsvorschläge selbstständig, begleitet durch ein Coaching von unserer Seite, sukzessive um.

Dokumentation der Ergebnisse
Die Testreifematrix allein ist nicht ausreichend zur detaillierten Dokumentation der Ergebnisse. Die Ergebnisse wurden daher in einer umfangreichen und detaillierten Gesamtdokumentation sowie in projektspezifischen Zusammenfassungen erarbeitet und dem Kunden übergeben.

Die nächsten Schritte
Aus Sicht unseres Kunden stellt sich das Assessment als erfolgreiches Projekt dar, Hauptgründe hierfür sind unter anderem die Begleitung durch einen unabhängigen, neutralen Partner sowie die enge Einbeziehung des gesamten Teams, insbesondere bei der Auswahl und Durchführung der identifizierten Verbesserungsmaßnahmen.

Das Assessment soll zu einem späteren Zeitpunkt wiederholt werden, dabei sollen sowohl die Effekte der Verbesserungsmaßnahmen gemessen als auch die Kontrollpunkte der Reifegrade „Effizient“ und „Optimierend“ analysiert und bewertet werden.

Bewertung

TPI NEXT ist insgesamt sehr umfangreich, jedoch ist es auch inhärent generisch und muss daher immer an den jeweiligen Unternehmens- beziehungsweise Projektkontext angepasst werden. Durch das reine Abfragen der Kontrollpunkte wird kein sinnvolles Assessment möglich sein, vielmehr bedarf es hier der entsprechenden Erfahrung der beteiligten Assessoren, um bewerten zu können, inwiefern ein Kontrollpunkt adäquat erfüllt wird.

Trotz des Umfangs gibt es aus Sicht des Autors aber auch noch Lücken im Modell. Die Kernbereiche sollen zwar alle Aspekte des Testprozesses abdecken, jedoch gibt es hierbei durchaus weitere Aspekte, welche durch das Modell abgedeckt werden sollten, beispielsweise ist das Thema Testdatenmanagement völlig unberücksichtigt.

Ein Projekt zur Testprozessverbesserung muss nicht notwendigerweise mit einem Modell wie TPI NEXT erfolgen. Ab einer gewissen Größe und Komplexität eines Projekts ist die Nutzung eines solchen Modells jedoch sinnvoll und notwendig. In diesem Projekt konnte mit TPI NEXT eine zielgerichtete und strukturierte, aber dennoch effiziente Vorgehensweise zur Testprozessverbesserung umgesetzt werden. Aufgrund des logischen Aufbaus des Modells wurde es von allen Stakeholdern schnell verstanden und eine hohe Akzeptanz konnte sichergestellt werden.