Datenqualität für Testdaten — Eine Nutzbarkeitsanalyse für Testdatensammlungen

Language
de
Document Type
Doctoral Thesis
Issue Date
2016-05-04
Issue Year
2016
Authors
Held, Johannes
Editor
Abstract

Problem Statement:

Medical devices have to be tested carefully and the test must adhere to strict regulations, e.g. the German Medizinproduktegesetz. During system testing, the SUT (system under test) is tested against workflows, data and user inputs anticipated to occur in its live system. For data-intensive systems, like linear accelerators for cancer treatment, the available test data plays an important part: it has to provide the necessary range of inputs to resemble the live system. In that case, a test data item is a patient file including treatment plans, images and other documents. These test data items are of high complexity and can only be artificially generated in rare cases, e.g. for performance tests. Manufacturers tend to create large data collections to gather precious test data, obtained from live systems or crafted by skilled technicians. These collections grow over time, enriched with anonymized patient files, and are adapted to reflect the variety of the live system and to fit the latest requirements of testing. Collecting mania and insufficiently future-proof data structures lead to a loss of overview and a decline of the accessibility of the test data collection. The potential of the collection potential is unknown and unused. Odds are that testers use only known data for testing or manually change those data to generate suitable test data. Therefore the system is tested with similar input and is not tested against the anticipated variety of the live system although sufficient test data might be available in the test data collection.

Research Question:

In dialogues, participating domain experts brought up questions concerning the size and quality of the test data collection. They are unsure whether the collection bears sufficient and adequate test data items or not and it is unclear how to measure that. As mentioned before, the collection’s size is no indicator for its quality. We inferred and generalized these research questions: • How to define and measure the quality of a test data collection — independent of the used data types? • How to embed this measurement into the fundamental test process and benefit from its execution?

Methods:

The close cooperation with domain experts — potential users — has been a central point of our research. We got to know the SUT and its live system as well as the demands and requirements for test data and have been able to reason about possible quality measures. Besides that, we did an literature review on data quality for data collections focused on test data. During periodic meetings, we matched our research and concept for test data quality with real life: the tester’s needs. We implemented a prototype for evaluation and conducted two user studies.

Solution:

The quality of a test data collection is not given as a single indicator. Rather, the overall picture of the quality of a test data collection and its usability for the actual test is yielded by different analyses like coverage, missing scenarios, non-defined values and similarity measures. To conduct these analyses, the test data are indexed by their embedded scenarios and mapped into the test space. As a speciality, due to the complexity of test data their mapping is multi-valued: A test data item can contain several scenarios. The quality metrics coverage of test space is based on the test data collection’s coverage of the test space, whilst closeness to reality compares that coverage with the coverage of test space by real data from the live system.

Integration into the Fundamental Test Process and Test Data Management:

A main aspect of our concept is to provide new knowledge about the test data collection and to motivate the test experts to contemplate again about the SUT and the possible inputs. The gained knowledge and insights can be used for many tasks of the fundamental test process. For example the indexing provides new possibilities of exploration and search and helps to bind test data items to test cases. Test data management generates precise procurement orders due to identified gaps in coverage and is able to control the data collection’s growth by analyzing its distribution in test space over time.

Evaluation:

We implemented our concept as a prototype in a generic approach to be able to use a single configuration file to adopt the prototype to different test spaces. We developed a DSL (domain specific language) to help test experts describing the test space. The mapping information of test data into test space provides the basis for all analysis and standardized interfaces ensure accessibility for third-party software. We evaluated our concept with two user studies with test experts from our project and validation partners and used the prototype for demonstration purposes.

Conclusion:

We created a concept to assess the quality of a test data collection by means of its usability for testing and embedded our concept into the fundamental testing processes. Being independent of the actual data types of test data, our presented assessment is usable for many use cases. In particular, we focus on complex test data that cannot be generated and is therefore collected in large data collections. The user studies yield a positive feedback for our chosen technique and show a general acceptance on the part of test experts. The gained knowledge helps throughout many testing tasks and empowers test experts to generate a benefit for the actual test. We expect that the usage of our concept improves testing and leads to a better tested system.

Abstract

Problemstellung:

Der Softwaretest von Medizintechnik muss sorgsam durchgeführt werden und strengen Auflagen, z. B. des Medizinproduktegesetzes, genügen. In der Teststufe Systemtest wird das System unter Test (SUT) gegen die erwarteten Abläufe und Daten in der Produktivumgebung getestet. Für datenintensive Systeme, wie es beispielsweise Linearbestrahler zur Tumorbehandlung sind, spielen die vorhandenen Testdaten eine wichtige Rolle: Diese müssen die Bandbreite der zu erwartenden Eingaben aus der Produktivumgebung für den Test bereitstellen. Ein Testdatensatz entspricht hier einer Patientenakte inklusive Bestrahlungsplänen, Bildern und weiteren Dokumenten. Diese Testdaten sind hochkomplex und können nur in Einzelfällen künstlich erzeugt werden. Aus diesem Grund legen Hersteller von Medizintechnik — oder anderen Systemen mit komplexen Testdaten — frühzeitig Testdatensammlungen an und füllen diese über die Jahre mit neuen Testdaten (beispielsweise anonymisierten Daten aus klinischen Studien), um die Vielfalt der Produktivumgebung nachzubilden und die Testdatensammlung an neue Anforderungen anzupassen. Ungeprüftes Hinzufügen neuer Datensätze, gepaart mit einer ungenügend zukunftssicheren Speicherstruktur, führt zu einem unkontrolliertem Wachstum der Testdatensammlung und zu einem Verlust des Überblicks über die vorhandenen Testdatensätze. Allgemein verschlechtert sich die Zugänglichkeit der Testdatensammlungen. Das Potenzial der Testdatensammlung ist nicht bekannt und wird folglich nicht ausgenutzt. Beispielsweise besteht trotz einem großen Bestand an Testdaten die Gefahr, dass Tester aufgrund ungenügender Suchmöglichkeiten nur ihnen bekannte Datensätze und/oder von Hand angepasste Kopien zum Test verwenden. Das SUT wird also hauptsächlich mit ähnlichen Eingaben, die nicht die erforderliche Vielfalt der antizipierten Produktivumgebung abbilden, getestet.

Fragestellung:

In Gesprächen mit am Testprozoss beteiligten Fachkräften wurden deren Fragen zur Güte der Testdatensammlung aufgenommen: sind in der Testdatensammlung ausreichend Testdaten für den Test vorhanden und sind die vorhandenen Testdaten die richtigen Testdaten? Zudem ist die Größe der Datensammlung allein kein Indiz für deren Güte. Aus den Gesprächen wurden die Fragestellungen dieser Arbeit abgeleitet und generalisiert: • Wie kann die Güte einer Testdatensammlung beschrieben und bewertet werden? Die Gütebewertung soll unabhängig vom Datentyp der enthaltenen Testdaten sein, damit die Gütebewertung auch für andere Branchen anwendbar ist. • Wie kann die Gütebewertung nutzbringend in den Testprozess eingebunden werden?

Methodik:

Der enge Kontakt mit Testexperten — potenziellen Nutzern des erforschten Konzepts zur Gütebewertung von Testdatensammlungen — ist ein wichtiger Aspekt der Vorgehensweise. In initialen Gesprächen mit den Testexperten der Validierungspartner wurde so einerseits die Systemumgebung erkundet als auch der Bedarf und die Anforderungen an Testdaten sowie potenzielle Gütekriterien ermittelt. Es wurde eine breite Literaturrecherche im Bereich Datenqualität für Datensammlungen mit Fokus auf Testdaten durchgeführt und die gewonnenen Erkenntnisse mit den Anforderungen zu einem Konzept zur Gütebewertung von Testdatensammlungen verbunden. In weiteren, regelmäßigen Gesprächsrunden wurde der Lösungsansatz mit der Realität (den Bedürfnissen der Tester) abgeglichen und angepasst. Die Evaluation erfolgte im Rahmen einer Machbarkeitsstudie und zweier Nutzerbefragungen zur Akzeptanzbewertung.

Lösungsansatz:

Die Güte einer Testdatensammlung wird nicht zu einer einzigen Maßzahl berechnet, sondern ergibt sich im Gesamtbild der verschiedenen Analysen der Testdatenabbildung im Testraum: Abdeckung, fehlende Szenarien, nicht-definierte Werte, Ähnlichkeits- und Vielfaltsbewertungen. Zur Umsetzung der Analysen werden die Testdaten gemäß den enthaltenen Szenarien indiziert und in den Testraum abgebildet. Eine Besonderheit ist, dass diese Abbildung aufgrund der Komplexität der Testdaten mehrwertig ist: ein Testdatensatz kann mehrere Szenarien enthalten. Die Gütekriterien Testraumabdeckung und Realitätsnähe berechnen die Abdeckung des Testraums durch die Testdaten und die Ähnlichkeit der Abdeckungen von Test- und Referenzdaten.

Einbindung in den fundamentalen Testprozess und das Testdatenmanagement:

Zentraler Bestandteil des Konzepts zur Gütebewertung ist das Bereitstellen von Wissen über die Testdatensammlung und die einhergehende erneute Beschäftigung der Testexperten mit dem SUT und den Eingabemöglichkeiten. Das Wissen kann dabei innerhalb verschiedener Arbeitsschritte im fundamentalen Testprozess vielfältig angewandt werden. Beispielsweise bietet die Indizierung neue Möglichkeiten der Datenexploration, der Suche und damit der Testdatenbindung an Testfälle. Auch das Testdatenmanagement profitiert von klaren Beschaffungsaufträgen durch gefundene Lücken in der Testraumabdeckung und den Möglichkeiten der Lokalisation von Redundanzen und Häufungen.

Evaluation:

Das erforschte Konzept wurde im Rahmen einer Machbarkeitsstudie prototypisch implementiert. Dabei wurde stark auf einen generischen Ansatz geachtet und der Prototyp kann anhand einer Konfigurationsdatei auf den jeweiligen Testraum eingestellt werden. Für die Konfigurationsdatei wurde eine eigene Domain Specific Language (DSL) entwickelt, die vom System direkt ausgewertet werden kann. Als Grund lage aller Auswertungen kann auf die Abbildungsinformationen der Testdaten von Dritt-Software durch standardisierte Schnittstellen zugegriffen werden. Das Konzept wurde in zwei Nutzerbefragungen, mit Testexperten der Validierungs- und Projektpartner, anhand von Fragebögen positiv evaluiert und auf Akzeptanz geprüft. Der Prototyp wurde zur Demonstration genutzt.

Fazit:

In dieser Arbeit wird die Erforschung eines Konzepts zur Gütebewertung von Testdatensammlungen und dessen Einbindung in den fundamentalen Testprozess beschrieben. Im Fokus der Gütebewertung stehen dabei komplexe Testdatensätze, beispielsweise Patientenakten, die nicht trivial erzeugt werden können. Dennoch abstrahiert das Konzept vom Datentyp der Testdaten und die Methodik zur Gütebewertung ist somit generisch anwendbar. Die Nutzerbefragungen zur Tauglichkeit und Akzeptanz des Konzepts sind positiv ausgefallen und durch die vielen Kontaktstellen im fundamentalen Testprozess können Testexperten das neu erlangte Wissen über die Testdatensammlung vielfältig einbringen und so einen Mehrwert für den Test schaffen. Wir erwarten uns durch die Anwendung der Gütebewertung eine Verbesserung des Tests, insbesonders bei der Testplanung.

DOI
Faculties & Collections
Zugehörige ORCIDs