Interactive Analysis of Multispectral and Hyperspectral Image Data

Interaktive Analyse von multispektralen und hyperspektralen Bilddaten

Please always quote using this URN: urn:nbn:de:bvb:29-opus4-96456
  • A multispectral or hyperspectral sensor captures images of high spectral resolution by dividing the light spectrum into many narrow bands. With the advent of affordable and flexible sensors, the modality is constantly widening its range of applications. This necessitates novel tools that allow general and intuitive analysis of the image data. In this work, a software framework is presented that bundles interactive visualization techniques with powerful analysis capabilities and is accessible through efficient computation and an intuitive user interface. Towards this goal, several algorithmic solutions to open problems are presented in the fields of edge detection, clustering, supervisedA multispectral or hyperspectral sensor captures images of high spectral resolution by dividing the light spectrum into many narrow bands. With the advent of affordable and flexible sensors, the modality is constantly widening its range of applications. This necessitates novel tools that allow general and intuitive analysis of the image data. In this work, a software framework is presented that bundles interactive visualization techniques with powerful analysis capabilities and is accessible through efficient computation and an intuitive user interface. Towards this goal, several algorithmic solutions to open problems are presented in the fields of edge detection, clustering, supervised segmentation and visualization of hyperspectral images. In edge detection, the structure of a scene can be extracted by finding discontinuities between image regions. The high dimensionality of hyperspectral data poses specific challenges for this task. A solution is proposed based on a data-driven pseudometric. The pseudometric is computed through a fast manifold learning technique and outperforms established metrics and similarity measures in several edge detection scenarios. Another approach to scene understanding in the hyperspectral or a derived feature space is data clustering. Through pixel-cluster assignment, a global segmentation of an image is obtained based on reflectance effects and materials in the scene. An established mode-seeking method provides high-quality clustering results, but is slow to compute in the hyperspectral domain. Two methods of speedup are proposed that allow computations for interactive use. A further method is proposed that finds clusters in a learned topological representation of the data manifold. Experimental results demonstrate a quick and accurate clustering of the image data without any assumptions or prior knowledge, and that the proposed methods are applicable for the extraction of material prototypes and for fuzzy clustering of reflectance effects. For supervised image analysis, an algorithm for seed-based segmentation is introduced to the hyperspectral domain. Specific segmentations can be quickly obtained by giving cues about regions to be included in or excluded from a segment. The proposed method builds on established similarity measures and the proposed data-driven pseudometric. A new benchmark is introduced to assess its performance. The aforementioned analysis methods are then combined with capable visualization techniques. A method for non-linear false-color visualization is proposed that distinguishes captured spectra in the spatial layout of the image. This facilitates the finding of relationships between objects and materials in the scene. Additionally, a visualization for the spectral distribution of an image is proposed. Raw data exploration becomes more feasible through manipulation of this plot and its link to traditional displays. The combination of false-color coding, spectral distribution plots, and traditional visualization enables a new workflow in manual hyperspectral image analysis.show moreshow less
  • Multispektrale und hyperspektrale Kameras nehmen Bilder mit hoher spektraler Auflösung auf, indem das Lichtspektrum in viele schmale Bänder zerlegt wird. Durch die Verfügbarkeit von günstigen und flexiblen Bildsensoren wird die Technologie für stetig neue Anwendungen interessant. Dabei entsteht ein Bedarf für neue Werkzeuge, die eine allgemeine und intuitive Analyse der Bilder erlauben. Diese Arbeit führt ein Softwareframework ein, das interaktive Visualisierungstechniken mit performanten Analysefähigkeiten kombiniert und durch eine effiziente und intuitive graphische Oberfläche zugänglich ist. Hierfür werden algorithmische Lösungen zu bisher offenen Problemen in den BereichenMultispektrale und hyperspektrale Kameras nehmen Bilder mit hoher spektraler Auflösung auf, indem das Lichtspektrum in viele schmale Bänder zerlegt wird. Durch die Verfügbarkeit von günstigen und flexiblen Bildsensoren wird die Technologie für stetig neue Anwendungen interessant. Dabei entsteht ein Bedarf für neue Werkzeuge, die eine allgemeine und intuitive Analyse der Bilder erlauben. Diese Arbeit führt ein Softwareframework ein, das interaktive Visualisierungstechniken mit performanten Analysefähigkeiten kombiniert und durch eine effiziente und intuitive graphische Oberfläche zugänglich ist. Hierfür werden algorithmische Lösungen zu bisher offenen Problemen in den Bereichen Kantendetektion, Clustering, nutzergestützte Segmentierung und Visualisierung von hyperspektralen Bildern entwickelt. Kantendetektion ermöglicht durch das Finden von Unstetigkeiten zwischen Bildbereichen, Rückschlüsse auf die Struktur der Bildszene zu ziehen. Dabei bringt die hohe spektrale Auflösung bestehende Verfahren an und über ihre Grenzen. Um diese zu verschieben, stellen wir eine datenbezogene Halbmetrik vor, die mithilfe einer Methode zum schnellen Erlernen einer Mannigfaltigkeit berechnet wird. Sie erzielt gegenüber etablierten Metriken und Ähnlichkeitsmaßen deutliche Verbesserungen in verschiedenen Kantendetektionsszenarien. Die Bildszene kann auch im hyperspektralen Raum oder einem davon abgeleiteten Datenraum mittels Datenclustering greifbar werden. Durch die Clusterzugehörigkeiten der Pixel erhält man eine globale Segmentierung des Bildes basierend auf Reflexionseffekten und Materialien in der Szene. Eine etablierte Clustering-Methode, die sehr gute Ergebnisse liefert, ist im hyperspektralen Raum nur langsam zu berechnen. Zwei Methoden zur Beschleunigung werden vorgestellt, die diese Berechnung im interaktiven Zeitrahmen ermöglichen. Eine weitere Methode wird vorgeschlagen, die eine erlernte topologische Repräsentation der von den Daten aufgespannten Mannigfaltigkeit zum Clustering nutzt. Die experimentellen Ergebnisse zeigen, dass ein schnelles und präzises Clustering der Bilddaten ohne spezifische Annahmen oder weiteres Vorwissen erreicht werden kann. Ferner wird die Extraktion von Materialprototypen sowie weiches Clustern von Reflexionseffekten ermöglicht. Um die nutzergestützte Bildanalyse zu erlauben, führen wir einen Algorithmus zur saatbasierten Segmentierung für hyperspektrale Bilder ein. Er verwendet Hinweise über Regionen, die im Segment enthalten oder von ihm ausgeschlossen sind. So kann der Nutzer rasch die gewünschte Segmentierung erzielen. Die vorgestellte Methode nutzt etablierte Ähnlichkeitsmaße sowie die neue datenbezogene Halbmetrik. Ihre Tauglichkeit wird mittels eines neu erstellten Benchmarks nachgewiesen. Schließlich werden die genannten Analysemethoden mit leistungsfähigen Visualisierungstechniken kombiniert. Eine Methode zur nichtlinearen Falschfarbendarstellung wird eingeführt, die aufgenommene Spektren in der Anordnung des Bildes differenziert und es ermöglicht, Zusammenhänge zwischen den Objekten und Materialien in der Szene zu finden. Ebenso wird eine Visualisierung der spektralen Verteilung eines Bildes eingeführt. Interaktive Manipulation dieses Plots und seine Verknüpfung mit anderen Ansichten ermöglicht die Erkundung unverarbeiteter Daten. Die Kombination von Falschfarbendarstellung, Plots der spektralen Verteilung und traditioneller Visualisierungen erlaubt einen neuen Arbeitsablauf bei der manuellen Inspektion von multispektralen und hyperspektralen Bildern.show moreshow less

Download full text files

Export metadata

Additional Services

Share in Twitter Search Google Scholar Statistics
Metadaten
Author:Johannes JordanORCiD
Persistent identifiers - URN:urn:nbn:de:bvb:29-opus4-96456
Referee:Joachim Hornegger
Advisor:Joachim Hornegger
Document Type:Doctoral Thesis
Language:English
Year of publication:2017
Date of online publication (Embargo Date):2018/04/18
Publishing Institution:Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Granting institution:Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU), Technische Fakultät
Acceptance date of the thesis:2017/05/15
Release Date:2018/04/24
Tag:Hyperspectral Imaging; Imaging Spectroscopy; Interactive Analysis; Self-organizing Map
SWD-Keyword:Bildverarbeitung; Mustererkennung; Multispektralkamera; Hyperspektraler Sensor; Cluster-Analyse; Konturfindung; Bildsegmentierung; Visualisierung; Dimensionsreduktion
Length/size:214
Institutes:Technische Fakultät / Department Informatik
CCS-Classification:I. Computing Methodologies / I.2 ARTIFICIAL INTELLIGENCE / I.2.10 Vision and Scene Understanding (I.4.8, I.5)
Dewey Decimal Classification:0 Informatik, Informationswissenschaft, allgemeine Werke / 00 Informatik, Wissen, Systeme / 006 Spezielle Computerverfahren
MSC-Classification:68-XX COMPUTER SCIENCE (For papers involving machine computations and programs in a specific mathematical area, see Section {04 in that areag 68-00 General reference works (handbooks, dictionaries, bibliographies, etc.) / 68Txx Artificial intelligence / 68T45 Machine vision and scene understanding
PACS-Classification:00.00.00 GENERAL / 07.00.00 Instruments, apparatus, and components common to several branches of physics and astronomy (see also each subdiscipline for specialized instrumentation and techniques) / 07.05.-t Computers in experimental physics; Computers in education, see 01.50.H- and 01.50.Lc; Computational techniques, see 02.70.-c; Quantum computation architectures and implementations, see 03.67.Lx; Optical computers, see 42.79.Ta / 07.05.Pj Image processing (see also 42.30.Va in optics; 87.57.-s Medical imaging in biological and medical physics; 95.75.Tv Digitization techniques in astronomy)
40.00.00 ELECTROMAGNETISM, OPTICS, ACOUSTICS, HEAT TRANSFER, CLASSICAL MECHANICS, AND FLUID DYNAMICS / 42.00.00 Optics (for optical properties of gases, see 51.70.+f; for optical properties of bulk materials and thin films, see 78.20.-e; for x-ray optics, see 41.50.+h) / 42.30.-d Imaging and optical processing / 42.30.Tz Computer vision; robotic vision
open_access (DINI-Set):open_access
Licence (German):Creative Commons - CC BY-SA - Namensnennung - Weitergabe unter gleichen Bedingungen 4.0 International