Since the beginnings of the European American Workshops (EAW) in 1997, the aim was to gather the experts in NDE reliability and discuss burning topics with the aim of identifying crucial problems and suggesting ways to move forward. This was usually achieved during the so-called break-out sessions, in which predetermined topics were discussed. During the 5th EAW, held in Berlin in 2013, this approach was replaced by an Open Space Technology (OST) approach. The benefit of this approach is seen in the freedom of topic choices, i. e., the topics are not predetermined but rather arise at that moment in that space and by the participants choice. The following topics arose: new reliability methods (Bayesian, MAPOD,
), structural health monitoring, definition of requirements of NDE by customer versus provider, what value of POD is good enough?, human factors, manual versus automated inspection, and basic concepts of reliability of NDE. The participants were encouraged to walk from one session to another and openly express their opinions. These were in the end summarized by a chosen group of moderators and presented in this paper.
For inspection of thick-walled (50mm) copper canisters for final disposal of spent nuclear fuel in Sweden, ultrasonic inspection using phased array technique (PAUT) is applied. Because thick-walled copper is not commonly used as a structural material, previous experience on Phased Array Ultrasonic Testing for this type of application is limited. The paper presents the progress in understanding the amplitudes and attenuation changes acting on the Phased Array Ultrasonic Testing inspection of copper canisters. Previous studies showed the existence of a low pass filtering effect and a heterogeneous grain size distribution along the depth, thus affecting both the detectability of defects and their "Probability of Detection" determination. Consequently, the difference between the first and second back wall echoes were not sufficient to determine the local attenuation (within the inspection range), which affects the signal response for each individual defect. Experimental evaluation of structural attenuation was carried out onto step-wedge samples cut from full-size, extruded and pierced&drawn, copper canisters. Effective attenuation values has been implemented in numerical simulations to achieve a Multi Parameter Probability of Detection and to formulate a Model Assisted Probability of Detection through a Monte-Carlo extraction model.
How much information do we need? A reflection of the correct use of real defects in POD-evaluations
(2016)
To evaluate the capability of a non destructive testing system the “truth” of the used defects is essential. But what exactly is the truth of a real defect? And how much information is usable for the study? This presentation gives an overview about an advanced use of multiple metallographic cuts for the POD evaluation. In the presentation an approach is shown where information of metallographic studies are reconstructed and weighted to gain the essential information about real defects and which information are important for the detection with radiographic testing equipment. Furthermore, different connection points are discussed were additional knowledge from simulation and artificial defects can be used to gain additional certainty for the result of the evaluation. The methodology is used for the evaluation for the digital radiographic testing system for the testing of electron-beam welds, which is one possible choice to seal the Finnish copper canisters for the final deposit of spent nuclear fuel.
The usefulness and purpose of evaluating nondestructive testing (NDT) systems and their capabilities has changed in the last decade. The conventional method of simply applying a familiar statistical algorithm to say whether the system is usable for the tasks is history.
Nowadays, multiple parameter methods which describe the probabilities of detection (POD) of different systems or real defects need new characteristics and a broader variety of statistical models to describe the true system behaviour. The appraisal of the NDT system involves diverse departments within a company (engineering, NDT-operators, and statisticians), but is, at the same time, more needed and requested than in the past. In this article, an approach is discussed in which professionals from different fields worked well together, accomplishing cost-intensive metallographic studies in correlation with well-understood physical behaviour of NDT-methods as well as deep-discussed mathematical methods to create a holistic evaluation of the technical reliability for a specific radiographic testing (RT) equipment. The first part of the publication will show the comparison between metallographic grinding and the RT indications. An essential innovation over past evaluation methods was the use of a multi-scale smoothing algorithm, which describes physical parameters, which were not used in evaluation like the POD in this way in the past.
In the second part the statistical requirements for the POD take the focus. It can often be hard to make significant statements; especially in the case where only a small amount of data is available. The combination of data and the use of knowledge from simulations are essential. One possible solution will be shown for the RT evaluation. The methodology is used for evaluating the digital RT system for the inspection of electron-beam welds, which was method considered to seal the Finnish copper canisters for the final deposit of spent nuclear fuel.
Die Fehlerauffindwahrscheinlichkeit oder 'Probability of Detection' ist zu einer wichtigen Qualitätskennzahl von zerstörungsfreien Prüfsystemen geworden. Die Einschätzung von nur künstlichen Fehlern ist jedoch als Bewertungsgrundlage meist nicht ausreichend. Die später verwendeten Prüfobjekte mit den real vorkommenden Fehlern sind die zu betrachtende Basis, für die der Endanwender eine gültige Qualitätseinschätzung der angewandten zerstörungsfreien Prüfung fordert. Jedoch ist bei dem Fall, dass die Datenmenge gering ist, auch die Aussage der POD beschränkt. Es muss daher eine Zwischenlösung gefunden werden, in der die Informationen von beiden Prüfungen kombiniert werden. Die Mathematik ermöglicht mit der Bayes'schen Statistik, diese Informationen miteinander zu kombinieren und somit beide Informationen in die Bewertung einfließen zu lassen. Dabei spielt jedoch der Zusammenhang zwischen Signal und Fehlerausprägung eine wichtige Rolle. Praktisch angewendet und erprobt wird diese Vorgehensweise für die Bewertung der zerstörungsfreien Prüfungen der Firma POSIVA, die sich mit dem Bau eines Endlagers für hochradioaktiven Abfall in Finnland beschäftigt.
Die statistische Qualitätskennzahl 'Probability of Detection (POD)' hängt von der Anzahl der zugrunde liegenden, brauchbaren Ergebnisse ab. Ist die Datenmenge niedrig, so ist auch die Aussage der POD eher beschränkt. Dennoch heißt eine große Zahl von Daten, nicht gleichzeitig, dass die POD für den realen Einsatz in der Produktion genügt. Es muss unterschieden werden, auf welcher Basis unter welchen konkreten Bedingungen - die Daten erhoben wurden. Als wichtigste Ergebnisse zählen die Messergebnisse aus der Produktion der später verwendeten Prüfobjekte für den konkreten Einsatz. Noch bevor die zerstörungsfreien Prüfmethoden zuverlässig in der Produktion eingesetzt wurde, muss jedoch nachgewiesen werden, dass die real vorkommenden Fehler gefunden werden können. Das bedeutet, zu einem Zeitpunkt, an dem noch nicht ausreichend Daten vorhanden sind. Während für die realistische Prüfung die notwendige Anzahl der verschiedenen Fehler meist nicht erreicht wird, so fehlen bei der Bewertung der künstlichen Fehler wichtige Parameter und Einflussgrößen. Es muss somit eine Zwischenlösung gesucht werden, in der die Informationen von beiden Prüfungen kombiniert werden. Mit der Bayesschen Statistik ermöglicht die Mathematik diese Informationen miteinander zu kombinieren und somit beide Informationen mit in die Bewertung einfließen zu lassen.
Praktisch angewandt und erprobt wird die Vorgehensweise gemeinsam mit der Firma POSIVA, die sich mit dem Bau eines Endlagers für hoch-radioaktiven Abfall in Finnland beschäftigt. Hier wird als eine der technischen Barrieren ein Kupferbehälter für die Aufbewahrung der verbrauchten Brennstäbe genutzt. Dieser Kupferbehälter wird mit mehreren zerstörungsfreien Prüfmethoden geprüft. Anhand von Radiographiedaten wird gezeigt, dass die Aussagekraft der realistischen Fehlerdaten mit Hilfe der künstlichen Referenzfehlerdaten untermauert werden kann.
Das Ziel des Artikels ist es eine Übersicht über neue methodische Ansätze und Verfahren zur Bewertung der Zuverlässigkeit von ZfP-Systemen in Übereinstimmung mit den spezifischen Anforderungen verschiedener industrieller Anwendungen zu geben. Nach einem Überblick über die in den vergangenen Jahrzehnten erreichten Fortschritte, wird der Fokus auf die gegenwärtigen Entwicklungen gerichtet. Für hohe Sicherheitsanforderungen wurde die quantitative Fehlerauffindwahrscheinlichkeit (probability of detection, POD) basierend auf 'hit/miss'- oder 'Signal-Response'-Analysen und die ROC-Analyse (Receiver Operating Characteristics) als typische Werkzeuge entwickelt. Im Rahmen des modularen Modells für die ZfP-Zuverlässigkeit unterscheidet man zwischen den rein physikalisch-technischen Einflussfaktoren, den industriellen Anwendungsfaktoren und den menschlichen Faktoren. Es hilft zum Beispiel zu erkennen, welche dieser Faktoren man in Modellierungsrechnungen bzw. mittels offenen oder Blindversuchen untersuchen kann. Ein neues Paradigma wird für die Betrachtung der POD als eine Funktion der gewählten Systemparameter und somit als Optimierungswerkzeug verwendet, anstelle sie für die endgültige Beurteilung zu nehmen. Zur Handhabung der Zuverlässigkeitsuntersuchung von realen Defekten in einer realistischen Umgebung werden ökonomisch vertretbare, aber dennoch präzise genug arbeitende Methoden, wie der Ansatz von Bayes oder modellbasierte Methoden vorgestellt. Die menschlichen Faktoren sind oft von ausschlaggebender Wichtigkeit für die Gesamtzuverlässigkeit. Hier hilft ein systematischer psychologischer Ansatz die Engpässe und Verbesserungsmöglichkeiten zu finden.
New methodologies for evaluating the reliability of NDE systems are discussed in accordance with the specific
requirements of industrial application. After a review of the substantive issues from the previous decades, the go
forward guidance is concluded.
For high safety demands a quantitative probability of detection (POD) created from hit miss
experiments or signal response analysis and ROC (Receiver Operating Characteristics) are typically created. The
modular model distinguishes between the influence of pure physics and technique, industrial application factors
and the human factor and helps to learn what factors are covered by modelling, open or blind trials. A new
paradigm is offered to consider the POD or reliability of the system as a function of the configuration of input
variables and use it for optimisation rather than for a final judgement. New approaches are considered dealing
with real defects in a realistic environment, affordable but precisely like the Bayesian approach or model assisted
methods.
Among the influencing parameters, the human factor is of high importance. A systematic psychological
approach helps to find out where the bottlenecks are and shows possibilities for improvement.