Multi-Frame Super-Resolution Reconstruction with Applications to Medical Imaging

Language
en
Document Type
Doctoral Thesis
Issue Date
2018-01-15
Issue Year
2018
Authors
Köhler, Thomas
Editor
Abstract

The optical resolution of a digital camera is one of its most crucial parameters with broad relevance for consumer electronics, surveillance systems, remote sensing, or medical imaging. However, resolution is physically limited by the optics and sensor characteristics. In addition, practical and economic reasons often stipulate the use of out-dated or low-cost hardware. Super-resolution is a class of retrospective techniques that aims at high-resolution imagery by means of software. Multi-frame algorithms approach this task by fusing multiple low-resolution frames to reconstruct high-resolution images. This work covers novel super-resolution methods along with new applications in medical imaging.

The first contribution of this thesis concerns computational methods to super-resolve image data of a single modality. The emphasis lies on motion-based algorithms that are derived from a Bayesian statistics perspective, where subpixel motion of low-resolution frames is exploited to reconstruct a high-resolution image. More specifically, we introduce a confidence-aware Bayesian observation model to account for outliers in the image formation, e.g. invalid pixels. In addition, we propose an adaptive prior for sparse regularization to model natural images appropriately. We then develop a robust optimization algorithm for super-resolution using this model that features a fully automatic selection of latent hyperparameters. The proposed approach is capable of meeting the requirements regarding robustness of super-resolution in real-world systems including challenging conditions ranging from inaccurate motion estimation to space variant noise. For instance, in case of inaccurate motion estimation, the proposed method improves the peak-signal-to-noise ratio (PSNR) by 0.7 decibel (dB) over the state-of-the-art.

The second contribution concerns super-resolution of multiple modalities in the area of hybrid imaging. We introduce novel multi-sensor super-resolution techniques and investigate two complementary problem statements. For super-resolution in the presence of a guidance modality, we introduce a reconstruction algorithm that exploits guidance data for motion estimation, feature driven adaptive regularization, and outlier detection to reliably super-resolve a second modality. For super-resolution in the absence of guidance data, we generalize this approach to a reconstruction algorithm that jointly super-resolves multiple modalities. These multi-sensor methodologies boost accuracy and robustness compared to their single-sensor counterparts. The proposed techniques are widely applicable for resolution enhancement in a variety of multi-sensor vision applications including color-, multispectral- and range imaging. For instance in color imaging as a classical application, joint super-resolution of color channels improves the PSNR by 1.5 dB compared to conventional channel-wise processing.

The third contribution transfers super-resolution to workflows in healthcare. As one use case in ophthalmology, we address retinal video imaging to gain spatio-temporal measurements on the human eye background non-invasively. In order to enhance the diagnostic usability of current digital cameras, we introduce a framework to gain high-resolution retinal images from low-resolution video data by exploiting natural eye movements. This framework enhances the mean sensitivity of automatic blood vessel segmentation by 10 % when using super-resolution for image preprocessing. As a second application in image-guided surgery, we investigate hybrid range imaging. To overcome resolution limitations of current range sensor technologies, we propose multi-sensor super-resolution based on domain-specific system calibrations and employ high-resolution color images to steer range super-resolution. In ex-vivo experiments for minimally invasive and open surgery procedures using Time-of-Flight (ToF) sensors, this technique improves the reliability of surface and depth discontinuity measurements compared to raw range data by more than 24 % and 68 %, respectively.

Abstract

Die optische Auflösung einer Kamera ist eine ihrer wichtigsten Kenngrößen mit hohem Stellenwert für Unterhaltungselektronik, Überwachungssysteme, Fernerkundung oder medizinische Bildgebung. Jedoch ist die Auflösung durch Optik und Sensoren physikalisch beschränkt. Daneben bedingen praktische oder ökonomische Gründe den Einsatz veralteter oder preiswerter Hardware. Verfahren zur Auflösungserhöhung sind eine Klasse retrospektiver Techniken mit dem Ziel hochauflösende Bildgebung softwarebasiert zu gewährleisten. Bildfolgenbasierte Algorithmen ermöglichen dies durch Fusion mehrerer niedrigauflösender Bilder zur Rekonstruktion hochauflösender Bilder. Diese Arbeit behandelt neuartige Methoden zur Auflösungserhöhung, sowie neue Anwendungen für die medizinische Bildgebung.

Der erste Beitrag dieser Arbeit betrifft Verfahren zur Auflösungserhöhung von Bildern einer einzelnen Modalität. Den Schwerpunkt bilden bewegungsbasierte und mit Bayesscher Statistik hergeleitete Algorithmen, bei denen Subpixel-Verschiebungen zwischen niedrig auflösenden Bildern zur Rekonstruktion eines hochauflösenden Bildes genutzt werden. Konkret führen wir ein konfidenzgewichtetes Beobachtungsmodell zur Behandlung von Ausreißern, z. B. defekte Pixel, in der Bildaufnahme ein. Zusätzlich stellen wir eine neue adaptive Verteilungsfunktion für die Regularisierung zur adäquaten Modellierung natürlicher Bilder vor. Wir entwickeln ferner einen robusten Optimierungsalgorithmus mit diesem Modell, der Hyperparameter vollautomatisch auswählt. Der vorgestellte Ansatz zur Auflösungserhöhung erfüllt in der Praxis Anforderungen hinsichtlich Robustheit, welche schwierige Rahmenbedingungen von ungenauer Bewegungsschätzung bis ortsvariantem Rauschen umfassen. Im beispielhaften Fall einer ungenauen Bewegungsschätzung verbessert die vorgeschlagene Methode das Spitzen-Signal-Rausch-Verhältnis (PSNR) um 0.7 decibel (dB) gegenüber dem Stand der Technik.

Der zweite Beitrag betrifft Ansätze zur Auflösungserhöhung für mehrere Modalitäten in der hybriden Bildgebung. Wir führen hierfür neue Mehrsensor-Verfahren ein und untersuchen zwei gegensätzliche Problemstellungen. Für die Auflösungserhöhung unter Verwendung einer Führungsmodalität stellen wir einen Algorithmus vor, der diese zur Bewegungsschätzung, merkmalsbasierten adaptiven Regularisierung und Ausreißerdetektion zur zuverlässigen Auflösungserhöhung einer zweiten Modalität einsetzt. Für den Fall, dass Führungsdaten fehlen, verallgemeinern wir diesen Ansatz zu einem Algorithmus, der mehrere Modalitäten simultan verarbeitet. Diese Mehrsensor-Methodik steigert Genauigkeit und Robustheit gegenüber Einzelsensor-Ansätzen. Die neu eingeführten Techniken sind vielfältig für eine Auflösungserhöhung in zahlreichen Anwendungen von Mehrsensor-Bildgebung einsetzbar, was Farb-, Multispektral- sowie Tiefenbildgebung umfasst. Im Bereich der Farbbildgebung als Beispiel für ein klassisches Anwendungsfeld, verbessert die simultane Auflösungserhöhung von Farbkanälen das PSNR um 1.5 dB gegenüber einer konventionellen kanalweisen Verarbeitung.

Der dritte Beitrag überträgt Verfahren zur Auflösungserhöhung in die Medizin. Als Anwendung in der Ophthalmologie behandeln wir Videobildgebung zur nicht-invasiven, örtlich-zeitlichen Untersuchung der menschlichen Retina. Um den diagnostischen Nutzen aktueller Digitalkameras zu verbessern, stellen wir ein Verfahren zur Gewinnung hochauflösender Retinabilder aus niedrigauflösenden Videodaten unter Ausnutzung natürlicher Augenbewegungen vor. Das Verfahren verbessert die mittlere Sensitivität einer automatischen Blutgefäßsegmentierung um 10 %, wenn eine Auflösungserhöhung zur Bildvorverarbeitung genutzt wird. Als eine weitere Anwendung in der bildgeführten Chirurgie untersuchen wir hybride Tiefenbildgebung. Um Auflösungsbeschränkungen heutiger Tiefensensoren zu überwinden, führen wir anwendungsspezifische Kalibrierverfahren ein und verwenden hochauflösende Farbbilder für Mehrsensor-Auflösungserhöhung auf Tiefendaten. In ex-vivo Experimenten für minimal-invasive und offene Chirurgie mit Time-of-Flight (ToF) Sensoren verbessert diese Technik die Zuverlässigkeit von Oberflächen- und Tiefenkantenmessungen um mehr als 24 % bzw. 68 % gegenüber Rohdaten.

DOI
Faculties & Collections
Zugehörige ORCIDs