TY - THES A1 - Gaal, Mate T1 - Trial design for testing and evaluation in humanitarian mine clearance T1 - Versuchsplanung für Prüfung und Bewertung in der humanitären Minenräumung N2 - This thesis proposes a design of experiment for testing and evaluation of the equipment and the methods used in manual mine clearance. The thesis is based on several metal detector trials and a trial of manual demining methods. The core of this dissertation comprises four metal detector trials performed in Germany and Croatia in 2003 and 2005. The purpose of these trials was to investigate the feasibility of the tests described in the CWA (Comit´e Europ´een de Normalisation /CEN/ Workshop Agreement) 14747:-2003, the standard for testing metal detectors for humanitarian demining. The goals of the trials were: to find an appropriate design of experiment for testing metal detectors; to establish the use of ROC diagrams (Receiver Operating Characteristics) and POD curves (Probability of Detection) in the analysis of the experimental results; and to gain practical experience in organising and conducting metal detector trials. A part of this thesis is devoted to a trial of manual demining methods performed in Mozambique in 2004. The main goal of that trial was to compare the speed of various manual demining methods, including the most common excavation methods. The outcome of this work are the proposals and recommendations for an update of the standard for testing metal detectors CWA 14747:2003. Maximum detection height measurements were performed as a part of the metal detector trial carried out in Croatia in 2005. The results reveal a high variability of the maximum detection height. This high variability needs to be taken into account in all experiments. A part of the variability is caused by the differences between the operators and by the setup of the metal detector. It is therefore recommended that two kinds of experiments with the maximum detection height as a response variable are defined in the next update of CWA 14747:2003. The first kind should include the setup, the soil and the operator as factors in the design of experiment. The in-soil measurements with the same detector should be performed with repeated setups and with several operators. The second kind of experiments should be experiments evaluating the influence of other predictor variables. In those experiments, it is recommended to perform one-factor or multiple-factor in-air measurements with the operators and the setup as a block. The main part of the metal detector trials described in this thesis were the detection reliability tests. Detection reliability tests as described in CWA 14747:2003 come closest to representing the real field conditions in demining. They include many environmental influences and, most importantly, many of the human factor influences. However, each test design is a compromise between fully representative conditions and cost effectiveness. In this thesis, a fractional factorial design based on the Graeco-Latin square is proposed as a solution to the experimental problem. The results are reported in the form of ROC diagrams and POD curves. The crossover design enables each operator to work with fewer detector models within a certain time. The variations of the design enabled an unbiased comparison of detectors in each soil and with each target model separately. It is recommended that the solutions proposed in this thesis be incorporated in the standard CWA 14747:2003. It has been shown that maximum detection height measurements provide the information about the best possible performance of a metal detector in a reliability test. N2 - Diese Doktorarbeit stellt eine Versuchsplanung für Prüfung und Bewertung von Geräten und Methoden vor, die in der manuellen Minenräumung eingesetzt werden. Die Grundlage hierfür wurde mit einer Reihe von verschiedenen Versuchsreihen zum Test von Metalldetektoren und einer Versuchsreihe zur Untersuchung von ausgewählten manuellen Minenräumtechniken erarbeitet. Im Mittelpunkt dieser Dissertation stehen vier Versuchsreihen zum Test von Metalldetektoren, die in Deutschland und Kroatien in den Jahren 2003 und 2005 durchgeführt wurden. Der Anlass dieser Versuchsreihen war, die Durchführbarkeit der Tests, die im CWA (Comit´e Europ´een de Normalisation /CEN/ Workshop Agreement) 14747:2003, dem europäischen Standard zum Test von Metalldetektoren in der humanitären Minenräumung, beschrieben sind, zu untersuchen. Die Ziele waren, eine geeignete statistische Versuchsplanung zum Test von Metalldetektoren aufzustellen, ROC-Diagramme (Receiver Operating Characteristics) und POD-Kurven (Probability of Detection) für die Analyse der experimentellen Ergebnisse einzuführen und praktische Erfahrungen bei der Organisation und Durchführung von Metalldetektortests zu sammeln. Ein weiterer Teil der Arbeit wurde einer Versuchsreihe auf dem Gebiet der manuellen Mineräumung gewidmet, die im Jahr 2004 in Mosambik durchgeführt wurde. Das Hauptziel dieser Versuchsreihe war, die Geschwindigkeit verschiedener manueller Entminungsmethoden zu vergleichen. Eingeschlossen waren die am häufigsten verwendeten manuellen Ausgrabungsmethoden, die keinen Metalldetektor verwenden. Die Ergebnisse dieser Dissertation sind Vorschläge und Empfehlungen zur Aktualisierung des europäischen Standards zum Test von Metalldetektoren CWA 14747:2003. Als Teil der Versuchsreihe in Kroatien in 2005 wurden Messungen des maximalen Detektionsabstandes durchgeführt. Die Ergebnisse ließen eine hohe Variabilität des maximalen Detektionsabstandes erkennen. Diese hohe Variabilität muss bei allen Experimenten in Betracht gezogen werden. Ein Teil dieser Variabilität wird von den Unterschieden zwischen den bedienenden Personen und der Geräteeinstellung hervorgerufen. Deshalb werden für die nächste Aktualisierung des CWA 14747:2003 zwei verschiedene Arten von Experimenten mit dem maximalen Detektionsabstand als Zielvariable empfohlen. Die erste sollte die Geräteeinstellung, den Bodentyp und das bedienende Personal als Faktoren in der Versuchsplanung enthalten. Die Messungen im Boden sollten mit wiederholten Geräteeinstellungen und verschiedenen Personen durchgeführt werden. Die zweite Art von Experimenten sollte die Bewertung des Einflusses von anderen Wirkungsvariablen beinhalten. Bei diesen Versuchen wird empfohlen die Experimente mit einem oder mehreren Faktoren in Luft durchzuführen, wobei die bedienenden Personen und die Geräteeinstellung jeweils für sich einen Block bilden. Die Zuverlässigkeitstests zur Minendetektion, beschrieben im CWA 14747:2003, kommen realen Bedingungen bei der Entminung am nächsten. Darin enthalten sind sowohl viele der Umweltbedingungen als auch viele der überaus wichtigen Einflüsse des Faktors Mensch. Jede Versuchsplanung stellt jedoch einen Kompromiss zwischen vollständig repräsentativen Bedingungen und der Kosteneffektivität dar. Zur Lösung dieses experimentellen Problems wird in dieser Doktorarbeit die fraktionell faktorielle Versuchsplanung basierend auf dem griechisch-lateinischen Quadrat vorgestellt. Die Versuchsergebnisse werden in Form von ROC-Diagrammen und POD-Kurven dargestellt. Die Überkreuz-Planung (”crossover design”) ermöglicht, dass jede Person nur wenige Geräte in einem bestimmten Zeitabschnitt bedient. Die Variationen in der Versuchsplanung erlauben weiterhin einen erwartungstreuen Vergleich der Leistungen der Detektoren in jedem Boden und bei jedem Minentyp separat. Es wird empfohlen, die in dieser Dissertation vorgeschlagenen Lösungen in die nächste Version des Standards CWA 14747:2003 einzuarbeiten. Es wurde nachgewiesen, dass die systematischen Messungen des maximalen Detektionsabstandes die bestmögliche Leistung eines Detektors in einem Zuverlässigkeitstest wiedergeben. KW - Minenräumung KW - Metallsuchgerät KW - Bewertung KW - Versuchsplanung KW - Metalldetektor KW - ROC (Receiver Operating Characteristic) KW - Menschlicher Faktor KW - griechisch-lateinisches Quadrat KW - Design of experiment KW - Metal detector KW - ROC (Receiver Operating Characteristic) KW - Human factor KW - Graeco-Latin square Y1 - 2007 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:kobv:co1-opus-3497 ER -