Known Operator Learning for a Hybrid Magnetic Resonance/X-ray Imaging Acquisition Scheme

Language
en
Document Type
Doctoral Thesis
Issue Date
2021-07-19
Issue Year
2021
Authors
Syben, Christopher
Editor
Abstract

With today’s technology, various non-invasive imaging methods provide detailed insight into the patient’s anatomy and support the physician during surgery. Depending on the signal type of each modality, the information collected is limited to narrow parts of the overall available information. A combination of several modalities makes it possible to increase the amount of information simultaneously made available to the physician. Especially a possible combination of the two most frequently used modalities, namely magnetic resonance imaging (MRI) and X-ray/computed tomography (CT) is of particular interest. Apart from the physical challenges, such a combination also poses a challenge to the acquisition scheme for a meaningful simultaneous acquisition with both modalities. This is especially true for the interventional environment, which implies additional requirements such as the real-time capability of the acquisition scheme. Such a combination, comes along with limitations for the signal recording schemes, up to the degree that an analytically correct solution can no longer be derived. Recently, there have been different attempts to overcome such limitations with machine learning. However, the solutions found are only partially comprehensible, and signal authenticity cannot be guaranteed. With the integration of prior knowledge about signal acquisition processes, such models can also be used in the medical field. In this thesis, we outline an acquisition scheme for a novel hybrid magnetic resonance (MR)/X-ray imaging system for the interventional environment and investigate the realization of parts of the scheme. Further, we investigate the concept of known operator learning, derive an implementation for operators in CT, and utilize the concept to enable the aforementioned hybrid MR/X-ray acquisition scheme. First, we investigate the possibilities and limitations for incorporating prior knowledge about the signal processing chain into machine learning algorithms. Using the universal approximation theorem (UAT), the benefits of mixing prior knowledge with neural networks are theoretically analyzed. Such a learning pipeline enriched with known operators allows the reduction of trainable parameters, and constrains the pipeline such that signal authenticity can be met, while the approximative power of deep learning (DL) can be utilized. In the course of the thesis, the concept is implemented for the CT reconstruction and evaluated from a methodological and algorithmic point of view. The results show that CT operators can be integrated into neural networks allowing gradient flow through the whole pipeline. The experiments suggest that such mixed pipelines can be trained only with numerical data if designed specifically for the problem. Furthermore, an open-source software framework called PYRO-NN is developed to make these benefits accessible to a broader community. Second, we develop a novel hybrid MR/X-ray acquisition scheme for image-guided interventions. The scheme acknowledges the high contrast diversity of MRI and the benefits of fast, high-resolution X-ray imaging. The information provided by both modalities is captured in different domains, making a subsequent exploitation of the complementary signals difficult, and is identified as a major obstacle to fully benefit from the simultaneous hybrid acquisition. The proposed scheme results in multiple orthographic MR projections and, in one perspectively distorted X-ray projection per frame. In the course of the thesis, we first develop a novel tomographic conversion scheme to overcome the limitations of classical geometrical rebinning. The tomographic rebinning is derived and performed utilizing the known operator learning scheme to learn an efficient convolution-based algorithm for the conversion. The novel concept is first designed and comprehensively evaluated on the 1-D/2-D case against the baseline method. Subsequently, the tomographic rebinning concept is developed for the clinically relevant 2-D/3-D case. In the course of the experiments, we can show that the efficient convolution-based algorithm can be learned with purely numeric training data. The presented method overcomes the limitation of the baseline method and provides sharper and more distinct projection than the baseline method. Hence, the learned tomographic rebinning algorithm is promising for the proposed hybrid MR/X-ray acquisition scheme, and the underlying known operator learning concept encourages further integration of the acquisition and contrast parameters into the trainable pipeline. In general, the benefit of incorporating domain knowledge into neural networks is highly promising and is possible for various other tasks even beyond medical imaging.

Abstract

Mit der heutigen Technologie bieten verschiedene nicht-invasive bildgebende Verfahren einen detaillierten Einblick in die Anatomie des Patienten und unterstützen den Arzt während der Operation. Abhängig von der Signalart jeder Modalität sind die gesammelten Informationen auf kleine Teile der insgesamt verfügbaren Informationen beschränkt. Eine Kombination mehrerer Modalitäten ermöglicht es, die Menge der dem Arzt gleichzeitig zur Verfügung gestellten Informationen zu erhöhen. Insbesondere eine mögliche Kombination der beiden am häufigsten verwendeten Modalitäten, nämlich Magnetresonanztomographie (MRT) und Röntgen/Computertomographie (CT), ist von besonderem Interesse. Abgesehen von den pysikalischen Herausforderungen stellt eine solche Kombination auch eine Herausforderung an das Erfassungsschema für eine sinnvolle simultane Erfassung mit beiden Modalitäten dar. Dies gilt insbesondere für die interventionelle Umgebung, die zusätzliche Anforderungen wie die Echtzeitfähigkeit des Erfassungsschemas impliziert. Eine solche Kombination bringt Einschränkungen für die Signalaufnahmeschemata mit sich, bis zu dem Grad, dass eine analytisch korrekte Lösung nicht mehr abgeleitet werden kann. In letzter Zeit hat es verschiedene Versuche gegeben, solche Einschränkungen mit maschinellem Lernen zu überwinden. Die gefundenen Lösungen sind jedoch nur teilweise nachvollziehbar, und die Signalauthentizität kann nicht garantiert werden. Mit der Integration von Vorwissen über Signalerfassungsprozesse können solche Modelle auch im medizinischen Bereich eingesetzt werden. In dieser Arbeit skizzieren wir ein Erfassungsschema für ein neuartiges hybrides Magnetresoanz-/Röntgenbildgebungssystem für die interventionelle Umgebung und untersuchen die Realisierung von Teilen des Schemas. Weiterhin untersuchen wir das Konzept des known operator learnings, leiten eine Implementierung für Operatoren in CT ab und nutzen das Konzept, um das oben erwähnte hybride MR/X-ray Akquisitionsschema zu ermöglichen. Zunächst untersuchen wir die Möglichkeiten und Grenzen für die Einbeziehung von Vorwissen über die Signalverarbeitungskette in Algorithmen des maschinellen Lernens. Mit Hilfe des Universellen Approximations-Theorems werden die Vorteile der Vermischung von Vorwissen mit neuronalen Netzen theoretisch analysiert. Eine solche mit bekannten Operatoren angereicherte Lernpipeline erlaubt die Reduktion trainierbarer Parameter und schränkt die Pipeline so ein, dass die Signalauthentizität erhalten werden kann, während die approximative Leistung des Tiefen Lernens genutzt werden kann. Im Rahmen der Arbeit wird das Konzept für die CT-Rekonstruktion implementiert und aus methodischer und algorithmischer Sicht evaluiert. Die Ergebnisse zeigen, dass CT-Operatoren in neuronale Netze integriert werden können, die einen Gradientenfluss durch die gesamte Pipeline ermöglichen. Die Experimente legen nahe, dass solche gemischten Pipelines nur mit numerischen Daten trainiert werden können, wenn sie speziell für das Problem entworfen werden. Darüber hinaus wird ein Open-Source-Software-Framework namens PYRO-NN entwickelt, um diese Vorteile einer breiteren Gemeinschaft zugänglich zu machen. Zweitens entwickeln wir ein neuartiges hybrides MR/Röntgenaufnahme-Schema für bildgesteuerte Interventionen. Das Schema greift die hohe Kontrastvielfalt von MRT und die Vorteile einer schnellen, hochauflösenden Röntgenbildgebung auf. Die von beiden Modalitäten gelieferten Informationen werden in verschiedenen Bereichen erfasst, was eine spätere Nutzung der komplementären Signale erschwert und als Haupthindernis für die volle Ausschöpfung der Vorteile der simultanen Hybridaufnahme identifiziert wird. Die von beiden Modalitäten gelieferten Informationen werden in verschiedenen Bereichen erfasst, was eine spätere Nutzung der komplementären Signale erschwert und als Haupthindernis für die volle Nutzung der Vorteile der simultanen Hybridaufnahme identifiziert wird. Das vorgeschlagene Schema führt zu mehreren orthographischen MR-Projektionen und zu einer perspektivisch verzerrten Röntgenprojektion pro Aufnahme. Im Rahmen der Dissertation entwickeln wir zunächst ein neuartiges tomographisches Konvertierungsschema, um die Einschränkungen der klassischen geometrischen Wiedervereinigung zu überwinden. Das tomographische Rebinning wird unter Verwendung des known operator learning abgeleitet und durchgeführt, um einen effizienten faltungsbasierten Algorithmus für die Konvertierung zu erlernen. Das neuartige Konzept wird zunächst am 1-D/2-D-Fall im Vergleich zur Referenzmethode entworfen und umfassend evaluiert. Anschliessend wird das tomographische Rebinning-Konzept für den klinisch relevanten 2-D/3-D-Fall entwickelt. Im Verlauf der Experimente kann gezeigt werden, dass der effiziente faltungsbasierte Algorithmus mit rein numerischen Trainingsdaten erlernt werden kann. Die vorgestellte Methode überwindet die Einschränkungen der Basislinienmethode und bietet eine schärfere und deutlichere Projektion als die Basislinienmethode. Daher ist der gelernte tomographische Rebinning-Algorithmus vielversprechend für das vorgeschlagene hybride MR/Röntgenaufnahme-Schema, und das zugrunde liegende known operator learning ermutigt weitere Integration der Aufnahme- und Kontrastparameter in die trainierbare Pipeline. Generell ist der Nutzen der Einbindung von Domänenwissen in neuronale Netze sehr vielversprechend und für verschiedene andere Aufgaben auch über die medizinische Bildgebung hinaus möglich.

DOI
Faculties & Collections
Zugehörige ORCIDs