Refine
Document Type
- Doctoral Thesis (4)
Has Fulltext
- yes (4)
Is part of the Bibliography
- yes (4)
Keywords
- 3D-Druck (1)
- 3D-Rekonstruktion (1)
- Augmented Reality (1)
- Biometric Systems (1)
- Biometric systems (1)
- Differenzdetektion (1)
- Differenzvisualisierung (1)
- Formanalyse (1)
- Formähnlichkeit (1)
- Kollaborative Bauüberwachung (1)
Biometric recognition systems are part of our daily life. They enable
a user-convenient authentication alternative to passwords or tokens
as well as high security identity assessment for law enforcement and
border control. However, with a rising usage in general, fraudulent use increases as well. One drawback of biometrics in general is the lack of renewable biometric characteristics. While it is possible to change a password or token, biometric characteristics (e. g. the fingerprint) stays the same throughout a lifespan. Hence, biometric systems are required to ensure privacy protection in order to prevent misuse of sensitive data. In this context, this Thesis evaluates cryptographic solutions that enable storage and real time comparison of biometric data in the encrypted domain. Furthermore, long-term security is achieved by post-quantum secure mechanisms.In addition to those privacy concerns, presentation attacks targeting the capture device are threatening legit operations. Since no information about inner system modules are required to use a presentation attack instrument (PAI) at the capture device, also non-experts could attack the biometric system. Thus, presentation attack detection (PAD) modules are essential to distinguish between bona fide presentations
and attack presentations. In this regard, different methods for fingerprint PAD are analysed in this Thesis, including benchmarks on
several classifiers based on handcrafted features as well as deep learning techniques. The results show that the PAD performance depends
on material properties of the used PAI species in combination with the
captured data type. However, fusing multiple approaches enhances the
detection rates for both convenient and secure application scenarios.
Biometric systems have experienced a large development in recent
years since they are accurate, secure, and in many cases, more user
convenient than traditional credential-based access control systems. Inspite of their benefits, biometric systems are still vulnerable to attack presentations (APs), which can be easily launched by a fraudulentsubject without having a wide expert knowledge. This way, he/she can gain access to several applications, such as bank accounts and smartphone unlocking, where biometric systems are frequently deployed. In order to mitigate such threats and increase the security of biometric systems, the development of reliable Presentation Attack
Detection (PAD) algorithms is of utmost importance to the research
community.In the context of PAD, we explore in this Thesis different strategies and methods in order to improve the generalisation capability of PAD schemes. To that end, we propose the definition of a semantic common feature space which successfully discriminates bona fide presentations (BPs)1 from APs. In essence, this process is seeking for those significant features extracted from known PAI species samples that are observed in unknown PAI species. In addition, we explore several handcrafted techniques in order to build a reliable description of features per biometric characteristic studied. The experimental evaluation shows that a common feature space can be computed through the fusion between generative models and discriminative approaches. Remarkable detection performances for high-security thresholds lead to the construction of a convenient (i.e., low BP rejection rates or Bona fide Presentation Classification Error Rate (BPCER)) and secure (i.e., low AP acceptance rates or Attack Presentation Classification Error Rate (APCER)) PAD subsystem.
Biometric systems, particularly face recognition (FR) systems, have become ubiquitous and are used in many real-world authentication scenarios, ranging from unlocking smartphone devices to automated border control systems at airports. FR systems offer a seamless and convenient authentication method, as faces can be captured at a distance. Furthermore, advancements in deep learning-based methods and accessibility to large training datasets have meant that state-ofthe-art FR systems achieve near-perfect biometric performance on several challenging benchmarks. However, the high generalisability of FR systems has also meant that these systems are vulnerable to different digital and physical face manipulations, which can impair their security. For instance, alterations to a face might be performed by a malicious actor in the physical domain (e.g., using makeup or silicone masks) or in the digital domain (e.g., using morphing or face swapping techniques) with the intention to impersonate another target identity and, as such, gain fraudulent access to a system. To mitigate this security risk, methods for detecting various digital and physical face manipulations have been proposed. However, most of these approaches consider only a few well-studied types of digital face manipulations or physical face manipulations and struggle to generalise beyond the data they were trained on. Motivated by the need to enhance the security of FR systems towards digital and physical face manipulations, this thesis investigates in more detail the impact of different digital and physical face manipulations on FR systems. Moreover, this thesis proposes novel algorithms for detecting digital and physical face manipulations by both developing methods focusing on detecting specific types of digital face manipulations or physical face manipulations and by developing highly generalisable methods for the unified detection of attacks on FR systems across both the digital and physical domains. Furthermore, methods for adapting existing pre-trained FR systems to be more resilient towards digital and physical face manipulations are proposed, and it is investigated how algorithms might be used in collaboration with human examiners to detect digital face manipulations. Comprehensive and realistic experimental evaluations demonstrate the capabilities of the proposed algorithms for detecting different digital and physical face manipulations and for making FR systems more resistant towards such manipulations.
Während der Durchführung von Fertigungsprozessen und Bauprojekten treten oftmals Schwierigkeiten auf, beispielsweise durch Fehlplanungen oder nachträgliche Planungsänderungen. Im Baubereich gehören dazu etwa veränderte Rohrführungen, nachträgliche Wanddurchbrüche u. ä., was eine zeitnahe Kommunikation zwischen den verantwortlichen Architekten, Bauleitern und Bauherren erfordert. Dennoch werden gerade bei Bau- oder Umbaumaßnahmen trotz der Dokumentation des Baufortschritts Fehler oder Abweichungen vom ursprünglichen Plan oft erst dann festgestellt, wenn sich daraus später Probleme ergeben – prominente Beispiele, wie den Berliner Flughafen, gibt es hier reichlich. Eine Ursache liegt darin, dass die Dokumentation üblicherweise lediglich durch eine Ansammlung von Plänen und Bildern, ggfs. verknüpft mit deren Aufnahmedatum, geschieht. Auch die Bauüberwachung erfolgt i. d. R. manuell und häufig nur in Form von Baubesichtigungen.
Die rechnergestützte Verwaltung der korrespondierenden Daten (2D-Baupläne, 3D-Architekturmodelle, 2D-/3D-Aufnahmen u. ä.) ermöglicht es hierbei, die gesamten Kommunikations- und Koordinationsprozesse während der Bauphase zu beschleunigen und zu vereinfachen. Dazu müssen zunächst allen Stakeholdern identische, aktuelle Daten vorliegen, was mittels einer kollaborativen Management-Anwendung möglich ist. Dadurch lassen sich etwaige Fehler unmittelbar identifizieren und ggf. direkt verhindern. Ein während der Bauphase automatisierter Abgleich der Aufnahmen mit den Originalplänen erlaubt außerdem eine Echtzeit-Überwachung und Fehlerminimierung. Des Weiteren können auf diese Weise spätere Gebäudewartungen über Augmented-Reality-Techniken unterstützt und deutlich vereinfacht werden. Ein Beispiel hierfür ist die Überblendung der realen Umgebung mit den während der Baumaßnahmen bereits adaptierten originalen Plänen, um so etwa interaktiv anzeigen zu können, wo Rohre oder Kabel tatsächlich verlaufen. Ähnliches gilt für die Überwachung von Fertigungsprozessen, wie etwa beim 3D-Druck von Bauteilen. Auch bei diesem Anwendungsfall kann eine frühzeitige und möglichst automatisierte zerstörungsfreie Abweichungserkennung und Fehlerkorrektur Folgekosten deutlich reduzieren.
Ein automatisierter Abgleich zwischen den ursprünglichen Planungsdaten und einer digitalen Beschreibung des realen Ist-Zustands inklusive einer Rückführung ermittelter Differenzen in die Planungsdaten ermöglicht es, nachträglich gewünschte oder notwendig gewordene, ebenso wie fehlerhafte, Abweichungen vom Bau- oder Fertigungsplan angemessen präsentieren und dokumentieren zu können, um somit z. B. allen Beteiligten zu ermöglichen, fundierte Entscheidungen über das weitere Vorgehen treffen zu können. Als Planungsdaten werden die Ergebnisse des Konstruktionsprozesses angesehen, die i. d. R. aus CAD-Daten bestehen. Diese beschreiben den ursprünglichen Soll-Zustand und bilden beispielsweise die Grundlage für einen Bau- oder Produktionsprozess ab. Die digitale Beschreibung des realen Ist-Zustands in Form von aktuellen Messdaten kann aus unterschiedlichen Quellen stammen, wie z. B. durch den Einsatz von 3D-Scannern. Die 3D-Modelle der ursprünglichen Planungsdaten sowie die der 3D-rekonstruierten Ist-Daten unterscheiden sich typischerweise sowohl in ihrer Geometrie und Topologie als auch in ihrem generellen Aufbau. Neben der Zuordnung und Anzahl enthaltener Dreiecke etc. können die 3D-Modelle der Planungs- bzw. Rekonstruktionsdaten jeweils aus einem einzigen Dreiecksnetz oder aber aus mehreren Dreiecksnetzen bestehen. Sollen einzelne Bauteile überprüft werden, bestehen diese Ist-Daten i.d.R. aus einem einzigen Dreiecksnetz mit unterschiedlicher Topologie. Ein einfacher geometrischer Vergleich zum Ermitteln der Differenzen zwischen Planungs- bzw. Rekonstruktionsdaten ist deshalb nicht ohne weiteres möglich. Im Anwendungsfall \textit{Bauüberwachung} bedeutet dies zudem, dass Objekte von Interesse jeweils einzelne Teilkomponenten darstellen können, wie z. B. Türen oder Fenster in einem Raum, welche für einen Vergleich zunächst aus den Daten extrahiert werden müssen.
Das Ziel dieser Arbeit liegt daher in der automatisierten Erkennung von Differenzen zwischen den ursprünglichen Planungsdaten und einer 3D-Rekonstruktion des realen Ist-Zustands sowie in der Rückführung der ermittelten Differenzen in die ursprünglichen Planungsdaten. Zur Erreichung des Ziels sind vier Forschungsfragen zu beantworten: Was müssen (modellbasierte) 3D-Aufnahmeverfahren leisten, um eine Detektion von Differenzen zu ermöglichen? Wie können die akquirierten 3D-Messdaten sinnvoll mit den dazu korrespondierenden 3D-Planungsdaten verglichen werden? Wie können ermittelte Differenzen automatisiert in die 3D-Planungsdaten (Soll-Daten) zurückgeführt werden? Wie können die ermittelten Differenzen benutzerorientiert visualisiert werden? Die Bearbeitung dieser Forschungsfragen erfolgt auf der Grundlage der vorgestellten Anwendungsfälle aus der Bauindustrie und der Bauteilfertigung.
Um eine für das Detektieren von Differenzen hinreichend gute 3D-Rekonstruk-tion zu gewährleisten, müssen 3D-Aufnahmeverfahren neben einem ausreichenden Auflösungsvermögen im Verhältnis zur Objektgröße einen möglichst hohen Grad an Robustheit gegenüber Einsatzbeschränkungen aufweisen, wie z. B. variable Lichtverhältnisse, transparente oder stark reflektierende Oberflächen. Es wird dargelegt, dass die Anwendung den Benutzer während der Datenakquise unterstützen sollte (z. B. Freistellung der Zielobjekte, Visualisierung des Scanfortschritts), da sich dies signifikant auf die Qualität der erzielten Messdaten auswirkt.
Für den Vergleich der Planungs- und Messdaten werden zwei verschiedene Verfahren entwickelt. Diese unterscheiden sich darin, ob die Objekte von Interesse für einen Vergleich Teilkomponenten repräsentieren, wie Fenster oder Türen, welche für einen Vergleich zunächst aus den Planungs- als auch Messdaten extrahiert werden, oder ob die zu vergleichenden Datensätze in ihrer Gänze verglichen werden. Das objektspezifische Multi-Objekt-Verfahren für den Anwendungsfall Bauüberwachung, bei dem ein Vergleich extrahierter Teilkomponenten stattfindet, wurde durch eine Punktwolkenanalyse der zu vergleichenden Datensätze umgesetzt und bezieht eine Rückführung der hierdurch detektierten Differenzen in die Geometrie der 3D-Planungsdaten ein. Das generische Gesamt-Objekt-Verfahren für den Anwendungsfall Bauteilfertigung vergleicht die Planungs- und Messdaten gänzlich und ermöglicht das Detektieren von Differenzen durch eine Vereinheitlichung der zu vergleichenden Datensätze auf Basis einer hochaufgelösten Voxelisierung und ermittelt einen Ähnlichkeitskoeffizienten anhand der daraus resultierenden Voxelmengen, welche entweder die voxelisierten Polygonnetzoberflächen oder Volumen abbilden.
Um die Kommunikation zwischen den Beteiligten zu verbessern und Entscheidungsfindungsprozesse zu optimieren, wird gezeigt, wie die ermittelten Differenzen (nachträglich gewünschte Abweichungen sowie echte Fehler) nutzer- und anwendungsfallorientiert visualisiert werden können. Es wird dargelegt, dass eine Überlagerung der aktualisierten und ursprünglichen Planungsdaten sowie eine Separation der Differenzen das Hervorheben ermittelter Differenzen unterstützt. Dies trifft ebenso auf die multicodale Ergebnispräsentation zu, bei der die ermittelten Differenzen mittels verschiedener Codalitäten bereitgestellt werden (z. B. tabellarische Präsentation und interaktives 3D-Echtzeit-Rendering der Differenzen, Voxel- und Polygonnetz-basierte Differenzvisualisierung).
Aufbauend auf den erarbeiteten Antworten zu den genannten Forschungsfragen wurde eine Difference Detection Tool Pipeline entwickelt, welche die wesentlichen Funktionalitäten zur Erfassung und Manipulation von Planungs- und Rekonstruktionsdaten integriert und diese für eine kontextbezogene Detektion von Differenzen (inklusive der Rückführung selbiger in die dadurch aktualisierten Planungsdaten) handhabbar bereitstellt. Beim Durchlaufen der Pipeline wird dabei jeweils noch zwischen einer Multi-Objekt-Differenz-Detektion (bei der wie im Anwendungsfall Bauüberwachung zunächst Teilkomponenten zu extrahieren sind), sowie einer Gesamt-Objekt-Differenz-Detektion unterschieden (bei der wie im Anwendungsfall Bauteilfertigung die Planungsdaten aus einer Einzelkomponente bestehen). Der Nutzen der entwickelten Difference Detection Tool Pipeline wird schließlich in verschiedenen Anwendungsfeldern exemplarisch aufgezeigt und evaluiert.