Hybrid RGB/Time-of-Flight Sensors in Minimally Invasive Surgery

Language
en
Document Type
Doctoral Thesis
Issue Date
2016-08-05
Issue Year
2016
Authors
Haase, Sven
Editor
Abstract

Nowadays, minimally invasive surgery is an essential part of medical interventions. In a typical clinical workflow, procedures are planned preoperatively with 3-dimensional (3-D) computed tomography (CT) data and guided intraoperatively by 2-dimensional (2-D) video data. However, accurate preoperative data acquired for diagnose and operation planning is often not feasible to deliver valid information for orientation and decisions within the intervention due to issues like organ movements and deformations. Therefore, innovative interventional tools are required to aid the surgeon and improve safety and speed for minimally invasive procedures. Augmenting 2-D color information with 3-D range data allows to use an additional dimension for developing novel surgical assistance systems. Here, Time-of-Flight (ToF) is a promising low-cost and real-time capable technique that exploits reflected near-infrared light to estimate the radial distances of points in a dense manner. This thesis covers the entire implementation pipeline of this new technology into a clinical setup, starting from calibration to data preprocessing up to medical applications. The first part of this work covers a novel automatic calibration scheme for hybrid data acquisition based on barcodes as recognizable feature points. The common checkerboard pattern is overlaid by a marker that includes unique 2-D barcodes. The prior knowledge about the barcode locations allows to detect only valid feature points for the calibration process. Based on detected feature points seen from different points of view a sensor data fusion for the complementary modalities is estimated. The proposed framework achieved subpixel reprojection errors and barcode identification rates above 90% for both the ToF and the RGB sensor. As range data of low-cost ToF sensors is typically error-prone due to different issues, e.g. specular reflections and low signal-to-noise ratio (SNR), preprocessing is a mandatory step after acquiring photometric and geometric information in a common setup. This work proposes the novel concept of hybrid preprocessing to exploit the benefits of one sensor to compensate for weaknesses of the other sensor. Here, we extended established preprocessing concepts to handle hybrid image data. In particular, we propose a nonlocal means filter that takes an entire sequence of hybrid image data into account to improve the mean absolute error of range data by 20%. A different concept estimates a high-resolution range image by means of super-resolution techniques that takes advantage of geometric displacements by the optical system. This technique improved the mean absolute error only by 12% but improved the spatial resolution simultaneously. In oder to tackle the issue of specular highlights that cause invalid range data, we propose a multi-view scheme for highlight correction. We replace invalid range data at a specific viewpoint with valid data of another viewpoint. This reduced the mean absolute error by 33% compared to a basic interpolation. Finally, this thesis introduces three novel medical applications that benefit from hybrid 3-D data. First, a collision avoidance module is introduced that exploits range data to ensure a safety margin for endoscopes within a narrow operation side. Second, an endoscopic tool localization framework is described that exploits hybrid range data to improve tool localization and segmentation. Third, a data fusion framework is proposed to extend the narrow field of view and reconstruct the entire situs. This work shows that hybrid image data of ToF and RGB sensors allows to improve image based assistance systems with more reliable and intuitive data for better guidance within a minimally invasive intervention.

Abstract

Minimal-invasive Chirurgie ist heutzutage ein essentielles Teilgebiet medizinischer Eingriffe. In einem typischen klinischen Arbeitsablauf werden Operationen präoperativ anhand von 3-dimensionalen (3D) Daten der Computertomographie (CT) geplant und intraoperativ mittels 2-dimensionaler (2D) Videodaten unterstützt. Präzise präoperativ aufgenommene Daten für die Diagnose und Operationsplanung sind aufgrund von Problemen wie der Organbewegung und Organverformung meist nicht in der Lage valide Informationen für die Orientierung und Entscheidungen während der Operation zu vermitteln. Daher werden innovative interventionelle Werkzeuge benötigt um den Chirurgen zu unterstützen und die Sicherheit und Dauer von minimal-invasiven Eingriffen zu verbessern. 2D Farbdaten mit 3D Entfernungsdaten zu überlagern erlaubt es eine zusätzliche Dimension zu nutzen um neuartige chirurgische Assistenzsysteme zu entwickeln. Dabei stellt Time-of-Flight (ToF) ein kostengünstiges und echtzeitfähiges Verfahren dar, das reflektiertes nahinfrarotes Licht ausnutzt um radiale Distanzen in einem dichten Gitter zu erfassen. Diese Arbeit behandelt die komplette Implementierung dieser neuen Technologie in ein medizinisches Umfeld, angefangen von der Kalibrierung über die Datenvorverarbeitung bis hin zu medizinischen Anwendungen. Der erste Teil der Arbeit behandelt ein neuartiges automatisches Kalibrierungsverfahren für hybride Datenaufnahmen. Es basiert auf Barcodes als identifizierbare Merkmalspunkte. Das gewöhnliche Schachbrett Muster ist überlagert mit einem Marker, der unverwechselbare 2D Barcodes beinhaltet. Das Vorwissen über die Positionierung der Barcodes erlaubt es nur valide Merkmalspunkte für die Kalibrierung zu erfassen. Basierend auf den aus verschiedenen Ansichten erkannten Merkmalspunkten wird eine Datenfusion der sich ergänzenden Modalitäten ermittelt. Das vorgestellte System erreicht Rückprojektionsfehler im Subpixelbereich und Barcode Identifikationsraten von über 90% für ToF und RGB Sensoren. Da Entfernungsdaten von kostengünstigen ToF Sensoren aufgrund verschiedener Probleme, z.B. spiegelnde Reflektionen und ein niedriges Signal-zu-Rausch Verhältnis (SNR), üblicherweise fehleranfällig sind, ist Datenvorverarbeitung ein essentieller erster Schritt nach der Aufnahme photometrischer und geometrischer Informationen in einem gemeinsamen Aufbau. Diese Arbeit stellt das Konzept der hybriden Datenvorverarbeitung vor, um mit den Vorteilen des einen Sensors die Nachteile des anderen zu kompensieren. Hierbei erweiterten wir etablierte Vorverarbeitungverfahren um hybride Bilddaten zu verarbeiten. Im speziellen stellen wir einen nichtlokalen Mittelwertfilter vor, der eine ganze Sequenz von hybriden Bilddaten verwendet, um das den mittleren absoluten Fehler der Entfernungsdaten um 20% zu verbessern. Ein anderes Verfahren schätzt ein hochauflösendes Bild von Entfernungsdaten mittels Super-Resolution und nutzt dabei geometrische Verschiebungen des optischen Systems aus. Diese Technik verbessert den mittleren absoluten Fehler zwar nur um 12%, verbessert aber gleichzeitig auch die räumliche Auflösung. Um die Problematik der spiegelnden Glanzlichter, an deren Stelle ungültige Entfernungsdaten ermittelt werden, anzugehen stellen wir ein Konzept mit Bildern verschiedener Ansichten vor um die Glanzlichtdaten zu korrigieren. Wir ersetzen ungültige Daten von einem bestimmten Beobachtungspunkt durch gültige Daten einer anderen Ansicht. Dies verminderte den mittleren absoluten Fehler um 33% verglichen mit einer konventionellen Interpolation. Abschließend führt diese Thesis drei neuartige medizinische Anwendungen ein, die von hybriden 3D Daten profitieren. Zunächst wird ein Modul zur Kollisionsvermeidung vorgestellt, das die Entfernungsdaten nutzt, um einen Sicherheitsabstand des Endoskops in dem engen Arbeitsfeld sicher zu stellen. Als zweites wird ein System zur Lokalisierung von endoskopischen Werkzeugen beschrieben, das die hybriden Entfernungsdaten ausnutzt, um die Ortsbestimmung und die Segmentierung der Werkzeuge zu verbessern. Als drittes wird ein System der Datenfusion vorgestellt, das das eingeschränkte Sichtfeld erweitert und dabei den gesamten Situs rekonstruiert. Diese Arbeit zeigt, dass hybride Bilddaten von ToF und RGB Sensoren es ermöglichen bildbasierte Assistenzsysteme zu verbessern, indem zuverlässigere und intuitivere Daten zur Unterstützung während minimal-invasiven Eingriffen genutzt werden können.

DOI
Faculties & Collections
Zugehörige ORCIDs