Physics-based and Statistical Features for Image Forensics

Language
en
Document Type
Doctoral Thesis
Issue Date
2013-05-07
Issue Year
2012
Authors
Riess, Christian
Editor
Abstract

The objective of blind image forensics is to determine whether an image is authentic or captured with a particular device. In contrast to other security-related fields, like watermarking, it is assumed that no supporting pattern has been embedded into the image. Thus, the only available cues for blind image forensics are either a) based on inconsistencies in expected (general) scene and camera properties or b) artifacts from particular image processing operations that were performed as part of the manipulation. In this work, we focus on the detection of image manipulations. The contributions can be grouped in two categories: techniques that exploit the statistics of forgery artifacts and methods that identify inconsistencies in high-level scene information. The two categories complement each other. The statistical approaches can be applied to the majority of digital images in batch processing. If a particular, single image should be investigated, high-level features can be used for a detailed manual investigation. Besides providing an additional, complementary testing step for an image, high-level features are also more resilient to intentional disguise of the manipulation operation. Hence, the first part of this thesis focuses on methods for the detection of statistical artifacts introduced by the manipulation process. We propose improvements to the detection of so-called copy-move forgeries. We also develop a unified, extensively evaluated pipeline for copy-move forgery detection. To benchmark different detection features within this pipeline, we create a novel framework for the controlled creation of semi-realistic forgeries. Furthermore, if the image under investigation is stored in the JPEG format, we develop an effective scheme to expose inconsistencies in the JPEG coefficients. The second part of this work aims at the verification of scene properties. Within this class of methods, we propose a preprocessing approach to assess the consistency of the illumination conditions in the scene. This algorithm makes existing work applicable to a broader range of images. The main contribution in this part is a demonstration of how illuminant color estimation can be exploited as a forensic cue. In the course of developing this method, we extensively study color constancy algorithms, which is the classical research field for estimating the color of the illumination. In this context, we investigate extensions of classical color constancy algorithms to the new field of non-uniform illumination. As part of this analysis, we create a new, highly accurate ground truth dataset and propose a new algorithm for multi-illuminant estimation based on conditional random fields.

Abstract

In der Forschungsrichtung „Blinde Bildforensik“ werden Methoden entwickelt, um die Authentizität und das Aufnahmegerät digitaler Bilder zu ermitteln. Hierfür kann — im Unterschied zu verwandten Gebieten, wie zum Beispiel der Wasserzeicheneinbettung — nicht auf eine speziell hinzugefügte Sicherheitssignatur zurückgegriffen werden. Dementsprechend können die verfügbaren Hinweise auf Ursprung und Authentizität eines Bildes lediglich aus zwei Quellen bezogen werden: a) aus Inkonsistenzen in erwarteten, allgemeinen Szenen- oder Kameraeigenschaften, oder b) aus Bildverarbeitungsartefakten, die durch eine Fälschungsoperation entstanden sind. Diese Arbeit beschäftigt sich mit dem Erkennen von Bildmanipulationen. Die Beiträge teilen sich in zwei Kategorien auf: die Ausnutzung statistischer Fälschungsartefakte und das Finden von Inkonsistenzen in abstrakterer Szeneninformation. Beide Kategorien ergänzen sich gegenseitig. Die statistischen Ansätze können in einem automatisierten Ablaufplan auf die meisten digitalen Bilder einfach angewandt werden. Für den Fall, dass ein einzelnes Bild speziell untersucht werden soll, können Szeneneigenschaften in einer manuellen Analyse miteinbezogen werden. Neben dem Umstand, dass hiermit ein weiterer, zu den statistischen Merkmalen komplementärer Prüfschritt möglich wird, bieten Szeneneigenschaften im allgemeinen einen besseren Schutz gegen die gezielte Vertuschung der Fälschungsoperation. Der erste Teil behandelt die Erkennung statistischer Manipulationsartefakte. Wir schlagen Verbesserung für die Erkennung sogenannter Copy-Paste-Fälschungen und eine einheitliche, gründlich evaluierte Verarbeitungskette zur Erkennung von Copy-Paste-Fälschungen vor. Zum Leistungsvergleich verschiedener Erkennungsmerkmale innerhalb der Verarbeitungskette wird ein neuartiges Konstruktionsgerüst für die gesteuerte Erzeugung semi-realistischer Fälschungen vorgestellt. Des weiteren, falls das zu untersuchende Bild im JPEG-Format vorliegt, wird ein effektives Verfahren entwickelt, um Inkonsistenten in den JPEG-Koeffizienten aufzudecken. Der zweite Teil dieser Arbeit beschäftigt sich mit der Verifikation von Szeneneigenschaften. Für diese Algorithmenkategorie schlagen wir einen Vorverarbeitungsschritt für die Analyse der Lichtrichtung vor, der die Anwendbarkeit bestehender Methoden auf eine größere Vielfalt von Bildern ermöglicht. Der Hauptbeitrag in diesem Teil ist die Vorstellung eines Ansatzes zur Ausnutzung von Lichtfarbschätzern als Fälschungsindikatoren. Im Rahmen der Entwicklung dieser Methode untersuchen wir ausführlich Algorithmen zur Farbkonstanz, dem klassischen Forschungsfeld zur Schätzung der Lichtfarbe. Hierbei werden Erweiterungen klassischer Farbkonstanz-Methoden auf eine neue Problemstellung untersucht, der Schätzung inhomogener Lichtumgebungen. Im Rahmen dieser Analyse stellen wir einen neuen, sehr präzisen Datensatz zur Evaluation von Szenen mit inhomogener Beleuchtung vor. Des weiteren wirde eine neue Methode zur Schätzung inhomogener Lichtquellen entwickelt, die auf Conditional Random Fields beruht.

DOI
Document's Licence
Faculties & Collections
Zugehörige ORCIDs