Diesem Thema haben sich 2019 mehrere Interessengruppen gestellt und Lehrpläne zum Test von KI-basierten Systemen und zum Test mit KI geschrieben. Zu diesen Gruppen gehören unter anderen die Artificial Intelligence United [AiU], die Alliance for Quality [A4Q] und das Koreanische [KSTQB] und Chinesische Software Testing Qualifications Board [CSTQB]. Auch im ISTQB, dem internationalen Software Testing Qualifications Board, ist der Wunsch nach einem solchen Lehrplan aufgekommen, ebenso wie beim Deutschen Testing Board (GTB). Es wurde eine Taskforce gegründet, die die drei bereits vorhandenen Lehrpläne zu einem gemeinsamen ISTQB-Lehrplan zusammenführen soll.
In diesem Beitrag gehen wir kurz auf einen historischen Abriss der KI ein und leiten zur aktuellen Situation bei KI-basierten Systemen über. Die drei bereits veröffentlichen KI+Test-Lehrpläne werden inhaltlich skizziert und miteinander verglichen. Der aktuelle Stand des ISTQB-Lehrplans wird beschrieben und ein kurzer Einblick in die Normierungsaktivitäten zu dem Thema KI gegeben.
Kurzer historischer Abriss der KI
Bereits im letzten Jahrtausend hat sich die Wissenschaft und Forschung mit dem Thema Künstliche Intelligenz beschäftigt. Erste Arbeiten zu neuronalen Netzen stammen von Warren McCulloch und Walter Pitts aus dem Jahr 1943 [McC43]. Arbeiten zu Prädikatenlogik gab es noch davor und bereits 1956 wurde auf einer Konferenz am Dartmouth College der Begriff „Künstliche Intelligenz“ geprägt. Gut zehn Jahre später hat Joseph Weizenbaum sein Eliza-Programm entwickelt, welches Dialoge mit Menschen in natürlicher Sprache führen kann. In den folgenden Jahren wurden Expertensysteme, beispielsweise zur Diagnose von Bauchkrankheiten, entwickelt (1972) sowie intelligente Rechner, die Weltmeister im Schach (1997) oder im Go (2016) besiegen konnten.
Betrachtet man diese Meilensteine, so kann man erkennen, dass unter dem Begriff Künstliche Intelligenz in den letzten 80 Jahren viele unterschiedliche Methoden und Systeme erforscht und kontinuierlich weiterentwickelt wurden – von Prädikatenlogik, über Expertensysteme bis hin zu künstlichen neuronalen Netzen.
Die Verfügbarkeit von kostengünstiger Rechenleistung, zum Beispiel in Form von GPUs (graphical processing units), in Zusammenhang mit riesigen Mengen leicht zugänglicher Daten haben die rasante Entwicklung heutiger KI-basierter Systeme überhaupt erst ermöglicht und die Anwendung von KI zu einer neuen Blüte geführt.
Lehrpläne zu Test und KI
Nachdem heute KI-basierte Systeme in immer mehr Bereiche des menschlichen Lebens vordringen und dabei auch auf sensible und sicherheitskritische Bereiche treffen, wie die Bewertung eines Kreditantrags oder die Steuerung eines Autos, besteht ein großes Interesse daran, dass KI-basierte Systeme ausreichend qualitätsgesichert und getestet werden.
Aus diesem Grund haben sich 2019 drei beziehungsweise vier Interessengruppen nahezu zeitgleich mit dem Test von und mit Künstlicher Intelligenz beschäftigt und unabhängig voneinander Lehrpläne zur Personalzertifizierung dafür entwickelt:
- Die Alliance for Quality (A4Q) ist ein Interessenverband mit Sitz in Deutschland, dem weltweit Experten zu unterschiedlichen IT-Themen zusammenbringt und Lehrpläne dazu entwickelt. Einer der erarbeiteten Lehrpläne ist der „A4Q AI & Software Testing“ Lehrplan.
- Artificial Intelligence United (AiU) ist ebenfalls ein Interessenverband aus weltweiten Experten und dem Indischen Testing Board (ITB), der sich ausschließlich dem Thema KI widmet. Der AiU – Certified Tester in AI (CTAI) ist der Lehrplan, der von AiU erarbeitet wurde.
- Der letzte der drei Lehrpläne ist eine gemeinsame Entwicklung vom Koreanischen Software Testing Qualifications Board (KSTQB) und vom Chinesischen Software Testing Qualifications Board (CSTQB) – der Certified Tester AI Testing (KSTQB & CSTQB AIT).
Tabelle 1 zeigt die Gliederung der Lehrpläne auf Kapitelebene und setzt sie zueinander in Beziehung.
Tabelle 1: Gliederung der Lehrpläne
Bei allen drei Lehrplänen kann man die Inhalte grob in drei Blöcke einteilen (in der Tabelle jeweils mit einer unterschiedlichen Farbe markiert):
Alle Lehrpläne beginnen mit einer allgemeinen Einführung in die Künstliche Intelligenz. Hier unterscheiden sich die Lehrpläne in der Art und Weise, wie sie Intelligenz und Künstliche Intelligenz herleiten und wo sie ihre Schwerpunkte sehen. Zwei von drei Lehrplänen legen einen Schwerpunkt auf maschinelles Lernen, während der dritte Lehrplan eine etwas breitere Sicht auf KI hat. Alle Lehrpläne sind sich einig, dass ein Tester ein grundlegendes Verständnis für die Besonderheiten von KI-Systemen haben muss, bevor er diese sinnvoll testen kann.
Der zweite Block beschäftigt sich mit dem Test von KI-basierten Systemen. Auch hier kann man unterschiedliche Herangehensweisen erkennen. Während sich zum Beispiel der AiU-Lehrplan an den Trainings- und Testphasen beim Maschinellen Lernen orientiert, fokussiert der KSTQB&CSTQB-Lehrplan auf eine allgemeine Einleitung zum Test von KI-basierten Systemen und betrachtet dann im Detail unterschiedliche Black-Box- und White-Box-Techniken. Auch wenn sich die Herangehensweise in den drei Lehrplänen unterscheidet, so findet man doch viele Inhalte in allen drei Lehrplänen wieder. Exemplarisch sei das am Thema Testumgebungen für KI-basierte Systeme gezeigt. Testumgebungen werden im A4Q-Lehrplan in Kapitel 2.3, im AiU-Lehrplan in Kapitel 6.1.4 und im KSTQB&CSTQB-Lehrplan in Kapitel 8 behandelt. Alle Lehrpläne beschäftigen sich mit dem Thema, jedoch mit unterschiedlicher Intensität.
Der dritte und inhaltlich kleinste Block beschäftigt sich mit der Verwendung von Künstlicher Intelligenz beim Testen. Dies ist noch ein relativ neues Gebiet. Mögliche Anwendungen von KI sind zum Beispiel bei der Dubletten-Analyse von Testfällen oder bei der Testfallauswahl für Regressionstests.
Der Test von und mit KI ist ein sehr aktuelles und spannendes Thema, wie man an der zeitgleichen Entwicklung der drei Lehrpläne erkennen kann. Auch im ISTQB, dem internationalen Software Testing Qualifications Board, ist der Wunsch nach einem solchen Lehrplan aufgekommen, ebenso wie beim Deutschen Testing Board (GTB). Nachdem sowohl das Indische, Koreanische und Chinesische Board Mitglieder beim ISTQB sind, hat man sich mit allen beteiligten Parteien zusammengesetzt und eine ISTQB Taskforce gegründet, die unter Leitung des GTB die drei bereits vorhandenen Lehrpläne zu einem gemeinsamen ISTQB-Lehrplan zusammenführen soll. Die Taskforce hat die Arbeit im November 2019 aufgenommen. Zielsetzung ist es, idealerweise bis Ende 2020 einen konsolidierten Lehrplan zu verabschieden.
Normungsaktivitäten zum Thema KI
Das starke Interesse an KI hat mittlerweile die Bundesregierung und die Normungsstellen erreicht. Im Oktober 2019 fand die Auftaktveranstaltung zur Normungsroadmap KI in Berlin statt. Die Normungsroadmap [DIN-KI] umfasst sieben Arbeitsgruppen, die sich mit unterschiedlichen Aspekten der KI auseinandersetzen, zum Beispiel Grundlagen, Ethik/Responsible AI, IT-Security bei KI-Systemen und unter anderem auch Qualität und Zertifizierung. Es ist ein „call for experts“ ergangen mit der Aufforderung zur Mitarbeit. Auf internationaler Ebene gibt es seit 2017 beim gemeinsamen technischen Ausschuss JTC1 (Joint Technical Committee) der ISO/ IEC den Subausschuss 42 „Artificial Intelligence“, der sich mit den allgemeinen Aspekten der Künstlichen Intelligenz beschäftigt [ISOSC42].
Spannender aus Sicht eines Testers ist es, dass das Thema KI auch bei den Software und Systems Engineering Normen des JTC1/ SC7 angekommen ist. Im Rahmen der WG 26 „Software Testing“ wird aktuell am Teil 11 des Teststandards ISO/IEC 29119 [ISOSC7] gearbeitet, der sich mit dem Test von KI-basierten Systemen beschäftigt. Teil 11 ist als technischer Report angelegt und befindet sich noch in einem sehr frühen Entwicklungsstadium. Auf deutscher Seite wird der Teststandard im Rahmen des DIN-Normenausschusses 043-01-07 AA „Software und System-Engineering“ [DINNIA] bearbeitet. Auch hier kann man noch mitarbeiten.
Zusammenfassung
Testen ist und bleibt spannend. KI-basierte Systeme stellen Tester vor neue Herausforderungen, die zeitnah gemeistert werden wollen. Die Zusammenführung von drei unterschiedlichen Lehrplänen zu einem gemeinsamen Lehrplan ist ein wichtiger Schritt, um ein einheitliches Verständnis zu dem Thema Test und KI zu bilden und dann sukzessive das Know-how bei den Testern aufzubauen. Wie schnell das Verständnis und die Liebe für einander entbrennt, wird sich zeigen. Zusammenarbeiten und ein Pärchen bilden, werden Test und KI aber sicherlich.
