Computer-Aided Tumor Diagnosis of Microscopy Images

Language
en
Document Type
Doctoral Thesis
Issue Date
2020-06-02
Issue Year
2020
Authors
Aubreville, Marc
Editor
Abstract

For the diagnosis of medical images, computer-aided methods can help to lower time requirements and reduce human error by highlighting regions of particular interest, by aiding inexperienced physicians in their interpretation, or just by providing new visualizations using secondary data. In this work, several new methods to support medical experts in the diagnosis of microscopy images are presented. The first part of the thesis focuses on the processing of images acquired using confocal laser endomicroscopy. This relatively novel imaging modality provides in-vivo, in-situ microscopy at very high magnification and hence allows for microstructural analysis of tissue. A common problem with this imaging modality is the occurrence of image deteriorations. Motion artifacts are amongst the most common of these and are especially challenging to detect algorithmically. This thesis investigates multiple methods for the detection of these impediments within the image. Besides a classical machine learning pipeline, involving features known from literature and novel, specially designed features for motion artifact detection, a custom deep learning architecture that achieved an accuracy of 94% and outperformed traditional approaches is introduced. Confocal laser endomicroscopy can be used, amongst other relevant questions, for the diagnosis of squamous cell carcinoma (a tumor of the epithelium). This malignancy has a high prevalence in the head and neck region and often occurs in the upper respiratory and digestive tract. Automatic detection of these tumors using non-invasive methods could enable usage for screening by medical personnel inexperienced in the modality and thus provide possibilities for earlier detection, which could improve therapeutical outcomes. In this thesis, new, deep learning-based methods are presented and shown to achieve classification accuracies of greater than 90%, which is similar to human experts on the same modality. The second part of this thesis is about the detection of cells undergoing cell division (mitotic figures) in hematoxylin- and eosin-stained bright-field microscopy images. While it is a highly relevant task with many algorithmic competitions held on the topic, it is far from being solved. We were able to show that one crucial factor limiting the development of clinical-grade solutions is the availability of data sets of sufficient quantity and quality. In this thesis, we present new methods to efficiently create datasets for microscopy cell annotations and demonstrate their capabilities by introducing a newly created data set of unprecedented size that the methods allowed us to build. Using detection algorithms trained using the data set, it was, for the first time, possible to perform mitotic figure detection on completely labeled whole slide images of tumor tissue. In the technical validation of the data set, which was built using specimens from canine cutaneous mast cell tumors, an F1-score of 0.82 was found. An essential part of tumor grading is the selection of the mitotically most active area of tissue. Performing the mitotic count in this area is especially meaningful since the corresponding mitotic activity is known to be strongly correlated with tumor proliferation and is thus highly relevant for prognosis. This task was never before assessed algorithmically due to the lack of suitable data sets. Three novel approaches were described and compared for this purpose and shown to outperform human experts significantly. Finally, the work investigates domain-transfer and multi-domain applications of the generated models to a broader range of tissue types and species. When training and cross-domain-evaluating on two further novel whole slide image data sets of canine mammary carcinoma and human meningioma, a substantial domain shift was found. Besides the exploitation of this shift for detection, the work describes and evaluates new algorithmic approaches for unsupervised domain adaptation.

Abstract

Bei der Diagnose medizinischer Bilder können computergestützte Methoden helfen, den Zeitaufwand zu senken und menschliche Fehler zu reduzieren, indem sie diagnostisch besonders relevante Regionen hervorheben, unerfahrene Arztinnen und Arzte bei der Interpretation unterstützen oder neue Visualisierungen mit Sekundärdaten liefern. In dieser Arbeit werden mehrere neue Methoden zur Unterstützung von medizinischen Expertinnen und Experten bei der Diagnose von Mikroskopiebildern vorgestellt. Der erste Teil des Werkes beschäftigt sich mit der Verarbeitung von Bildern, die mit konfokaler Laserendomikroskopie aufgenommen wurden. Diese relativ neuartige Bildgebungsmodalität bietet in vivo, in situ Mikroskopie bei sehr hoher Vergrößerung und ermöglicht somit die mikrostrukturelle Analyse von Gewebe. Ein häufiges Problem bei dieser Bildgebungsmodalität ist das Auftreten von Bildartefakten. Bewegungsarte- fakte gehören zu den häufigsten davon und sind besonders schwierig algorithmisch zu erkennen. In dieser Arbeit wurden mehrere Methoden hierzu untersucht: Neben einer klassischen maschinellen Lernpipeline, die sowohl aus der Literatur bekannte Merkmale als auch neuartige, speziell für die Bewegungsartefaktdetektion entwickelte Merkmale beinhaltet, wurde auch eine speziell angepasste Deep-Learning-Architektur eingesetzt, die eine Genauigkeit von 94% erreichte und signifikant besser als die traditionellen Ansätze abschnitt. Konfokale Laserendomikroskopie kann unter anderem bei der Diagnose von Plattenepithelkarzinomen (einem Tumor der oberen Hautschicht) eingesetzt werden. Diese Malignität hat eine hohe Prävalenz im Kopf- und Halsbereich und dort speziell in den oberen Atemwegen und im oberen Verdauungstrakt. Die automatische Erkennung dieser Tumore mit nicht-invasiven Methoden könnte den Einsatz für das Screening durch unerfahrene Anwenderinnen und Anwender ermöglichen und damit verbesserte Bedingungen zur Früherkennung bieten, die die therapeutischen Ergebnisse positiv beeinflussen könnten. In dieser Arbeit konnte gezeigt werden, dass durch den Einsatz neuer, Deep-Learning-basierter Methoden Klassifikationsgenauigkeiten von mehr als 90% erreicht werden können, was auch der von menschlichen Expertinnen und Experten bei der gleichen Modalität ähnelt. Der zweite Teil dieser Arbeit beschäftigt sich mit der Detektion von Zellen, die sich in Zellteilung (Mitose) befinden, in Hämatoxylin- und Eosin-gefärbten Hellfeld- mikroskopiebildern. Obwohl es sich um eine hochrelevante Aufgabe handelt, zu der bereits mehrere algorithmische Wettbewerbe stattfanden, ist sie noch lange nicht gelöst. Wir konnten zeigen, dass ein entscheidender Faktor, der die Entwicklung von Lösungen in klinisch hinreichender Qualität hemmt, die Verfügbarkeit von entsprechen- den Datensätzen in ausreichender Größe und Qualität ist. In der vorliegenden Arbeit werden neuartige Methoden vorgestellt, um effizient Datensätze für mikroskopische Zellannotationen zu erstellen. Wir demonstrieren die Fähigkeiten dieser, indem wir einen neu erstellten Datensatz von beispielloser Größe vorstellen, der mit diesen neuen Methoden aufgebaut werden konnte. Mittels des neuen Datensatzes und der damit verbundenen Techniken gelang es zum ersten Mal, eine Erkennung von Mitosen an vollständig annotierten kompletten Objektträgeraufnahmen von Tumorgewebe durchzuführen. Die technische Validierung des Datensatzes, der mit Proben von kutanen Mastzelltumoren von Hunden erstellt wurde, ergab einen F1-Score von 0,82. Ein wesentlicher Bestandteil des manuellen Tumor-Gradings ist die Auswahl des mitotisch aktivsten Gewebebereichs. Die mitotische Aktivität in jenem Bereich korreliert stark mit der Tumorproliferation und ist daher hochrelevant für die Prognose. Diese Aufgabe wurde aufgrund des Mangels an geeigneten Datensätzen bisher noch nie algorithmisch durchgeführt. Zur automatischen Auswahl dieses Bereichs werden in der Arbeit drei neuartige Ansätze beschrieben und verglichen. Es konnte gezeigt werden, dass diese menschliche Experten deutlich übertreffen. Schließlich werden in der Arbeit Domänentransfer und Multi-Domänen-Anwendungen der neu erzeugten Mustererkennungsmodelle auf ein breiteres Spektrum von Gewebetypen und -arten untersucht. Beim Training und bei der domänenübergreifenden Auswertung an zwei weiteren neuartigen Datensätzen vom Mammakarzinom des Hundes und vom menschlichen Meningiom, die jeweils Annotationen für die gesamten Objektträgeraufnahmen enthalten, wurde eine starke Domänenverschiebung fest- gestellt. Neben der Ausnutzung dieser Verschiebung für die Detektion der Domäne beschreibt und evaluiert die Arbeit neue algorithmische Ansätze zur unüberwachten Domänenanpassung.

DOI
Faculties & Collections
Zugehörige ORCIDs