Interactive Analysis of Multispectral and Hyperspectral Image Data

Language
en
Document Type
Doctoral Thesis
Issue Date
2018-04-24
Issue Year
2017
Authors
Jordan, Johannes
Editor
Abstract

A multispectral or hyperspectral sensor captures images of high spectral resolution by dividing the light spectrum into many narrow bands. With the advent of affordable and flexible sensors, the modality is constantly widening its range of applications. This necessitates novel tools that allow general and intuitive analysis of the image data. In this work, a software framework is presented that bundles interactive visualization techniques with powerful analysis capabilities and is accessible through efficient computation and an intuitive user interface. Towards this goal, several algorithmic solutions to open problems are presented in the fields of edge detection, clustering, supervised segmentation and visualization of hyperspectral images. In edge detection, the structure of a scene can be extracted by finding discontinuities between image regions. The high dimensionality of hyperspectral data poses specific challenges for this task. A solution is proposed based on a data-driven pseudometric. The pseudometric is computed through a fast manifold learning technique and outperforms established metrics and similarity measures in several edge detection scenarios. Another approach to scene understanding in the hyperspectral or a derived feature space is data clustering. Through pixel-cluster assignment, a global segmentation of an image is obtained based on reflectance effects and materials in the scene. An established mode-seeking method provides high-quality clustering results, but is slow to compute in the hyperspectral domain. Two methods of speedup are proposed that allow computations for interactive use. A further method is proposed that finds clusters in a learned topological representation of the data manifold. Experimental results demonstrate a quick and accurate clustering of the image data without any assumptions or prior knowledge, and that the proposed methods are applicable for the extraction of material prototypes and for fuzzy clustering of reflectance effects. For supervised image analysis, an algorithm for seed-based segmentation is introduced to the hyperspectral domain. Specific segmentations can be quickly obtained by giving cues about regions to be included in or excluded from a segment. The proposed method builds on established similarity measures and the proposed data-driven pseudometric. A new benchmark is introduced to assess its performance. The aforementioned analysis methods are then combined with capable visualization techniques. A method for non-linear false-color visualization is proposed that distinguishes captured spectra in the spatial layout of the image. This facilitates the finding of relationships between objects and materials in the scene. Additionally, a visualization for the spectral distribution of an image is proposed. Raw data exploration becomes more feasible through manipulation of this plot and its link to traditional displays. The combination of false-color coding, spectral distribution plots, and traditional visualization enables a new workflow in manual hyperspectral image analysis.

Abstract

Multispektrale und hyperspektrale Kameras nehmen Bilder mit hoher spektraler Auflösung auf, indem das Lichtspektrum in viele schmale Bänder zerlegt wird. Durch die Verfügbarkeit von günstigen und flexiblen Bildsensoren wird die Technologie für stetig neue Anwendungen interessant. Dabei entsteht ein Bedarf für neue Werkzeuge, die eine allgemeine und intuitive Analyse der Bilder erlauben. Diese Arbeit führt ein Softwareframework ein, das interaktive Visualisierungstechniken mit performanten Analysefähigkeiten kombiniert und durch eine effiziente und intuitive graphische Oberfläche zugänglich ist. Hierfür werden algorithmische Lösungen zu bisher offenen Problemen in den Bereichen Kantendetektion, Clustering, nutzergestützte Segmentierung und Visualisierung von hyperspektralen Bildern entwickelt. Kantendetektion ermöglicht durch das Finden von Unstetigkeiten zwischen Bildbereichen, Rückschlüsse auf die Struktur der Bildszene zu ziehen. Dabei bringt die hohe spektrale Auflösung bestehende Verfahren an und über ihre Grenzen. Um diese zu verschieben, stellen wir eine datenbezogene Halbmetrik vor, die mithilfe einer Methode zum schnellen Erlernen einer Mannigfaltigkeit berechnet wird. Sie erzielt gegenüber etablierten Metriken und Ähnlichkeitsmaßen deutliche Verbesserungen in verschiedenen Kantendetektionsszenarien. Die Bildszene kann auch im hyperspektralen Raum oder einem davon abgeleiteten Datenraum mittels Datenclustering greifbar werden. Durch die Clusterzugehörigkeiten der Pixel erhält man eine globale Segmentierung des Bildes basierend auf Reflexionseffekten und Materialien in der Szene. Eine etablierte Clustering-Methode, die sehr gute Ergebnisse liefert, ist im hyperspektralen Raum nur langsam zu berechnen. Zwei Methoden zur Beschleunigung werden vorgestellt, die diese Berechnung im interaktiven Zeitrahmen ermöglichen. Eine weitere Methode wird vorgeschlagen, die eine erlernte topologische Repräsentation der von den Daten aufgespannten Mannigfaltigkeit zum Clustering nutzt. Die experimentellen Ergebnisse zeigen, dass ein schnelles und präzises Clustering der Bilddaten ohne spezifische Annahmen oder weiteres Vorwissen erreicht werden kann. Ferner wird die Extraktion von Materialprototypen sowie weiches Clustern von Reflexionseffekten ermöglicht. Um die nutzergestützte Bildanalyse zu erlauben, führen wir einen Algorithmus zur saatbasierten Segmentierung für hyperspektrale Bilder ein. Er verwendet Hinweise über Regionen, die im Segment enthalten oder von ihm ausgeschlossen sind. So kann der Nutzer rasch die gewünschte Segmentierung erzielen. Die vorgestellte Methode nutzt etablierte Ähnlichkeitsmaße sowie die neue datenbezogene Halbmetrik. Ihre Tauglichkeit wird mittels eines neu erstellten Benchmarks nachgewiesen. Schließlich werden die genannten Analysemethoden mit leistungsfähigen Visualisierungstechniken kombiniert. Eine Methode zur nichtlinearen Falschfarbendarstellung wird eingeführt, die aufgenommene Spektren in der Anordnung des Bildes differenziert und es ermöglicht, Zusammenhänge zwischen den Objekten und Materialien in der Szene zu finden. Ebenso wird eine Visualisierung der spektralen Verteilung eines Bildes eingeführt. Interaktive Manipulation dieses Plots und seine Verknüpfung mit anderen Ansichten ermöglicht die Erkundung unverarbeiteter Daten. Die Kombination von Falschfarbendarstellung, Plots der spektralen Verteilung und traditioneller Visualisierungen erlaubt einen neuen Arbeitsablauf bei der manuellen Inspektion von multispektralen und hyperspektralen Bildern.

DOI
Faculties & Collections
Zugehörige ORCIDs