The total reliability of a mine searching system is driven by the triple of intrinsic
capability, which describes the physical-technical basis capability, the application and
environmental factors and the human factors. Some of them can be determined in
laboratory measurements but the human factor and a part of environment conditions
and their interaction with the device need to be treated statistically. That is why the
test & evaluation procedure described in CEN CWA 14747:2003, includes in addition
to parameter tests of metal detectors also the reliability or blind field tests under local
conditions with local personnel. A series of three big field trials had been
accomplished in the ITEP-project 2.1.1.2 Reliability Model for Test & Evaluation of
Metal Detectors to specify the optimum conditions for reliable trial results with
affordable effort. For each set of specific working conditions, characterized in terms
of a combination of one mine type in one soil with one detector handled by local
personnel, the searching system will show up a working performance in mine
detection rates as a function of mine depth and show up a certain overall false call
rate. During the ITEP-trials in Benkovac and Oberjettenberg the authors learnt to
determine this function separately for each mine type in each soil, which is especially
important for low metal mines in uncooperative soil which will be illustrated for the
mine PMA2 in different types of soil. The question of representativeness for field
conditions on the one hand and necessary statistical set up for the possibility to
distinguish between individual detector performances is still under discussion.
Trial Design for Testing and Evaluation of Metal Detectors Used in Humanitarian Landmine Clearance
(2006)
Statistical design of experiments applied to tests of metal detectors used for mine detection
(2006)
Das Ziel des Artikels ist es eine Übersicht über neue methodische Ansätze und Verfahren zur Bewertung der Zuverlässigkeit von ZfP-Systemen in Übereinstimmung mit den spezifischen Anforderungen verschiedener industrieller Anwendungen zu geben. Nach einem Überblick über die in den vergangenen Jahrzehnten erreichten Fortschritte, wird der Fokus auf die gegenwärtigen Entwicklungen gerichtet. Für hohe Sicherheitsanforderungen wurde die quantitative Fehlerauffindwahrscheinlichkeit (probability of detection, POD) basierend auf 'hit/miss'- oder 'Signal-Response'-Analysen und die ROC-Analyse (Receiver Operating Characteristics) als typische Werkzeuge entwickelt. Im Rahmen des modularen Modells für die ZfP-Zuverlässigkeit unterscheidet man zwischen den rein physikalisch-technischen Einflussfaktoren, den industriellen Anwendungsfaktoren und den menschlichen Faktoren. Es hilft zum Beispiel zu erkennen, welche dieser Faktoren man in Modellierungsrechnungen bzw. mittels offenen oder Blindversuchen untersuchen kann. Ein neues Paradigma wird für die Betrachtung der POD als eine Funktion der gewählten Systemparameter und somit als Optimierungswerkzeug verwendet, anstelle sie für die endgültige Beurteilung zu nehmen. Zur Handhabung der Zuverlässigkeitsuntersuchung von realen Defekten in einer realistischen Umgebung werden ökonomisch vertretbare, aber dennoch präzise genug arbeitende Methoden, wie der Ansatz von Bayes oder modellbasierte Methoden vorgestellt. Die menschlichen Faktoren sind oft von ausschlaggebender Wichtigkeit für die Gesamtzuverlässigkeit. Hier hilft ein systematischer psychologischer Ansatz die Engpässe und Verbesserungsmöglichkeiten zu finden.
ITEP project 2.1.1.2 - Final report - Reliability model for test and evaluation of metal detectors
(2004)
Metal detectors used in demining have been tested within the frame of the International Test and
Evaluation Programme project ITEP 2.1.1.2. Detection reliability tests were performed in accordance
with the CEN workshop agreement describing specifications for test and evaluation (CWA 14747:2003). Results of these tests are aimed to verify and should help to optimise the proposed testing
procedures.