@unpublished{WeiherervonRiedheimBrebantetal., author = {Weiherer, Maximilian and von Riedheim, Antonia and Br{\´e}bant, Vanessa and Egger, Bernhard and Palm, Christoph}, title = {iRBSM: A Deep Implicit 3D Breast Shape Model}, doi = {10.48550/arXiv.2412.13244}, pages = {6}, abstract = {We present the first deep implicit 3D shape model of the female breast, building upon and improving the recently proposed Regensburg Breast Shape Model (RBSM). Compared to its PCA-based predecessor, our model employs implicit neural representations; hence, it can be trained on raw 3D breast scans and eliminates the need for computationally demanding non-rigid registration -- a task that is particularly difficult for feature-less breast shapes. The resulting model, dubbed iRBSM, captures detailed surface geometry including fine structures such as nipples and belly buttons, is highly expressive, and outperforms the RBSM on different surface reconstruction tasks. Finally, leveraging the iRBSM, we present a prototype application to 3D reconstruct breast shapes from just a single image. Model and code publicly available at this https URL.}, language = {en} } @misc{OPUS4-7115, title = {Bildverarbeitung f{\"u}r die Medizin 2024}, editor = {Maier, Andreas and Deserno, Thomas M. and Handels, Heinz and Maier-Hein, Klaus H. and Palm, Christoph and Tolxdorff, Thomas}, publisher = {Springer}, address = {Wiesbaden}, isbn = {978-3-658-44037-4}, issn = {1431-472X}, doi = {10.1007/978-3-658-44037-4}, pages = {370}, abstract = {Seit mehr als 25 Jahren ist der Workshop "Bildverarbeitung f{\"u}r die Medizin" als erfolgreiche Veranstaltung etabliert. Ziel ist auch 2024 wieder die Darstellung aktueller Forschungsergebnisse und die Vertiefung der Gespr{\"a}che zwischen Wissenschaftlern, Industrie und Anwendern. Die Beitr{\"a}ge dieses Bandes - viele davon in englischer Sprache - umfassen alle Bereiche der medizinischen Bildverarbeitung, insbesondere die Bildgebung und -akquisition, Segmentierung und Analyse, Visualisierung und Animation, computerunterst{\"u}tzte Diagnose sowie bildgest{\"u}tzte Therapieplanung und Therapie. Hierbei kommen Methoden des maschinelles Lernens, der biomechanischen Modellierung sowie der Validierung und Qualit{\"a}tssicherung zum Einsatz.}, subject = {Bildverarbeitung}, language = {de} } @article{SouzaJrPassosSantanaetal., author = {Souza Jr., Luis Antonio de and Passos, Leandro A. and Santana, Marcos Cleison S. and Mendel, Robert and Rauber, David and Ebigbo, Alanna and Probst, Andreas and Messmann, Helmut and Papa, Jo{\~a}o Paulo and Palm, Christoph}, title = {Layer-selective deep representation to improve esophageal cancer classification}, series = {Medical \& Biological Engineering \& Computing}, volume = {62}, journal = {Medical \& Biological Engineering \& Computing}, publisher = {Springer Nature}, address = {Heidelberg}, doi = {10.1007/s11517-024-03142-8}, pages = {3355 -- 3372}, abstract = {Even though artificial intelligence and machine learning have demonstrated remarkable performances in medical image computing, their accountability and transparency level must be improved to transfer this success into clinical practice. The reliability of machine learning decisions must be explained and interpreted, especially for supporting the medical diagnosis.For this task, the deep learning techniques' black-box nature must somehow be lightened up to clarify its promising results. Hence, we aim to investigate the impact of the ResNet-50 deep convolutional design for Barrett's esophagus and adenocarcinoma classification. For such a task, and aiming at proposing a two-step learning technique, the output of each convolutional layer that composes the ResNet-50 architecture was trained and classified for further definition of layers that would provide more impact in the architecture. We showed that local information and high-dimensional features are essential to improve the classification for our task. Besides, we observed a significant improvement when the most discriminative layers expressed more impact in the training and classification of ResNet-50 for Barrett's esophagus and adenocarcinoma classification, demonstrating that both human knowledge and computational processing may influence the correct learning of such a problem.}, language = {en} } @inproceedings{GutbrodGeislerRauberetal., author = {Gutbrod, Max and Geisler, Benedikt and Rauber, David and Palm, Christoph}, title = {Data Augmentation for Images of Chronic Foot Wounds}, series = {Bildverarbeitung f{\"u}r die Medizin 2024: Proceedings, German Workshop on Medical Image Computing, March 10-12, 2024, Erlangen}, booktitle = {Bildverarbeitung f{\"u}r die Medizin 2024: Proceedings, German Workshop on Medical Image Computing, March 10-12, 2024, Erlangen}, editor = {Maier, Andreas and Deserno, Thomas M. and Handels, Heinz and Maier-Hein, Klaus H. and Palm, Christoph and Tolxdorff, Thomas}, publisher = {Springer}, address = {Wiesbaden}, doi = {10.1007/978-3-658-44037-4_71}, pages = {261 -- 266}, abstract = {Training data for Neural Networks is often scarce in the medical domain, which often results in models that struggle to generalize and consequently showpoor performance on unseen datasets. Generally, adding augmentation methods to the training pipeline considerably enhances a model's performance. Using the dataset of the Foot Ulcer Segmentation Challenge, we analyze two additional augmentation methods in the domain of chronic foot wounds - local warping of wound edges along with projection and blurring of shapes inside wounds. Our experiments show that improvements in the Dice similarity coefficient and Normalized Surface Distance metrics depend on a sensible selection of those augmentation methods.}, language = {en} } @inproceedings{RueckertRiederFeussneretal., author = {R{\"u}ckert, Tobias and Rieder, Maximilian and Feussner, Hubertus and Wilhelm, Dirk and R{\"u}ckert, Daniel and Palm, Christoph}, title = {Smoke Classification in Laparoscopic Cholecystectomy Videos Incorporating Spatio-temporal Information}, series = {Bildverarbeitung f{\"u}r die Medizin 2024: Proceedings, German Workshop on Medical Image Computing, March 10-12, 2024, Erlangen}, booktitle = {Bildverarbeitung f{\"u}r die Medizin 2024: Proceedings, German Workshop on Medical Image Computing, March 10-12, 2024, Erlangen}, editor = {Maier, Andreas and Deserno, Thomas M. and Handels, Heinz and Maier-Hein, Klaus H. and Palm, Christoph and Tolxdorff, Thomas}, publisher = {Springeer}, address = {Wiesbaden}, doi = {10.1007/978-3-658-44037-4_78}, pages = {298 -- 303}, abstract = {Heavy smoke development represents an important challenge for operating physicians during laparoscopic procedures and can potentially affect the success of an intervention due to reduced visibility and orientation. Reliable and accurate recognition of smoke is therefore a prerequisite for the use of downstream systems such as automated smoke evacuation systems. Current approaches distinguish between non-smoked and smoked frames but often ignore the temporal context inherent in endoscopic video data. In this work, we therefore present a method that utilizes the pixel-wise displacement from randomly sampled images to the preceding frames determined using the optical flow algorithm by providing the transformed magnitude of the displacement as an additional input to the network. Further, we incorporate the temporal context at evaluation time by applying an exponential moving average on the estimated class probabilities of the model output to obtain more stable and robust results over time. We evaluate our method on two convolutional-based and one state-of-the-art transformer architecture and show improvements in the classification results over a baseline approach, regardless of the network used.}, language = {en} } @unpublished{MendelRueckertWilhelmetal., author = {Mendel, Robert and R{\"u}ckert, Tobias and Wilhelm, Dirk and R{\"u}ckert, Daniel and Palm, Christoph}, title = {Motion-Corrected Moving Average: Including Post-Hoc Temporal Information for Improved Video Segmentation}, doi = {10.48550/arXiv.2403.03120}, pages = {9}, abstract = {Real-time computational speed and a high degree of precision are requirements for computer-assisted interventions. Applying a segmentation network to a medical video processing task can introduce significant inter-frame prediction noise. Existing approaches can reduce inconsistencies by including temporal information but often impose requirements on the architecture or dataset. This paper proposes a method to include temporal information in any segmentation model and, thus, a technique to improve video segmentation performance without alterations during training or additional labeling. With Motion-Corrected Moving Average, we refine the exponential moving average between the current and previous predictions. Using optical flow to estimate the movement between consecutive frames, we can shift the prior term in the moving-average calculation to align with the geometry of the current frame. The optical flow calculation does not require the output of the model and can therefore be performed in parallel, leading to no significant runtime penalty for our approach. We evaluate our approach on two publicly available segmentation datasets and two proprietary endoscopic datasets and show improvements over a baseline approach.}, subject = {Deep Learning}, language = {en} } @article{SouzaJrPachecoPassosetal., author = {Souza Jr., Luis Antonio de and Pacheco, Andr{\´e} G.C. and Passos, Leandro A. and Santana, Marcos Cleison S. and Mendel, Robert and Ebigbo, Alanna and Probst, Andreas and Messmann, Helmut and Palm, Christoph and Papa, Jo{\~a}o Paulo}, title = {DeepCraftFuse: visual and deeply-learnable features work better together for esophageal cancer detection in patients with Barrett's esophagus}, series = {Neural Computing and Applications}, volume = {36}, journal = {Neural Computing and Applications}, publisher = {Springer}, address = {London}, doi = {10.1007/s00521-024-09615-z}, pages = {10445 -- 10459}, abstract = {Limitations in computer-assisted diagnosis include lack of labeled data and inability to model the relation between what experts see and what computers learn. Even though artificial intelligence and machine learning have demonstrated remarkable performances in medical image computing, their accountability and transparency level must be improved to transfer this success into clinical practice. The reliability of machine learning decisions must be explained and interpreted, especially for supporting the medical diagnosis. While deep learning techniques are broad so that unseen information might help learn patterns of interest, human insights to describe objects of interest help in decision-making. This paper proposes a novel approach, DeepCraftFuse, to address the challenge of combining information provided by deep networks with visual-based features to significantly enhance the correct identification of cancerous tissues in patients affected with Barrett's esophagus (BE). We demonstrate that DeepCraftFuse outperforms state-of-the-art techniques on private and public datasets, reaching results of around 95\% when distinguishing patients affected by BE that is either positive or negative to esophageal cancer.}, subject = {Deep Learning}, language = {en} } @misc{RueckertRueckertPalm, author = {R{\"u}ckert, Tobias and R{\"u}ckert, Daniel and Palm, Christoph}, title = {Corrigendum to "Methods and datasets for segmentation of minimally invasive surgical instruments in endoscopic images and videos: A review of the state of the art" [Comput. Biol. Med. 169 (2024) 107929]}, series = {Computers in Biology and Medicine}, journal = {Computers in Biology and Medicine}, publisher = {Elsevier}, doi = {10.1016/j.compbiomed.2024.108027}, url = {http://nbn-resolving.de/urn:nbn:de:bvb:898-opus4-70337}, pages = {1}, abstract = {The authors regret that the SAR-RARP50 dataset is missing from the description of publicly available datasets presented in Chapter 4.}, language = {en} } @article{HammerNunesHammeretal., author = {Hammer, Simone and Nunes, Danilo Weber and Hammer, Michael and Zeman, Florian and Akers, Michael and G{\"o}tz, Andrea and Balla, Annika and Doppler, Michael Christian and Fellner, Claudia and Da Platz Batista Silva, Natascha and Thurn, Sylvia and Verloh, Niklas and Stroszczynski, Christian and Wohlgemuth, Walter Alexander and Palm, Christoph and Uller, Wibke}, title = {Deep learning-based differentiation of peripheral high-flow and low-flow vascular malformations in T2-weighted short tau inversion recovery MRI}, series = {Clinical hemorheology and microcirculation}, journal = {Clinical hemorheology and microcirculation}, edition = {Pre-press}, publisher = {IOP Press}, doi = {10.3233/CH-232071}, pages = {1 -- 15}, abstract = {BACKGROUND Differentiation of high-flow from low-flow vascular malformations (VMs) is crucial for therapeutic management of this orphan disease. OBJECTIVE A convolutional neural network (CNN) was evaluated for differentiation of peripheral vascular malformations (VMs) on T2-weighted short tau inversion recovery (STIR) MRI. METHODS 527 MRIs (386 low-flow and 141 high-flow VMs) were randomly divided into training, validation and test set for this single-center study. 1) Results of the CNN's diagnostic performance were compared with that of two expert and four junior radiologists. 2) The influence of CNN's prediction on the radiologists' performance and diagnostic certainty was evaluated. 3) Junior radiologists' performance after self-training was compared with that of the CNN. RESULTS Compared with the expert radiologists the CNN achieved similar accuracy (92\% vs. 97\%, p = 0.11), sensitivity (80\% vs. 93\%, p = 0.16) and specificity (97\% vs. 100\%, p = 0.50). In comparison to the junior radiologists, the CNN had a higher specificity and accuracy (97\% vs. 80\%, p <  0.001; 92\% vs. 77\%, p <  0.001). CNN assistance had no significant influence on their diagnostic performance and certainty. After self-training, the junior radiologists' specificity and accuracy improved and were comparable to that of the CNN. CONCLUSIONS Diagnostic performance of the CNN for differentiating high-flow from low-flow VM was comparable to that of expert radiologists. CNN did not significantly improve the simulated daily practice of junior radiologists, self-training was more effective.}, language = {en} } @misc{ScheppachMendelMuzalyovaetal., author = {Scheppach, Markus W. and Mendel, Robert and Muzalyova, Anna and Rauber, David and Probst, Andreas and Nagl, Sandra and R{\"o}mmele, Christoph and Yip, Hon Chi and Lau, Louis Ho Shing and G{\"o}lder, Stefan Karl and Schmidt, Arthur and Kouladouros, Konstantinos and Abdelhafez, Mohamed and Walter, B. and Meinikheim, Michael and Chiu, Philip Wai Yan and Palm, Christoph and Messmann, Helmut and Ebigbo, Alanna}, title = {K{\"u}nstliche Intelligenz erh{\"o}ht die Gef{\"a}ßerkennung von Endoskopikern bei third space Endoskopie}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {62}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {09}, publisher = {Georg Thieme Verlag KG}, doi = {10.1055/s-0044-1790087}, pages = {e830}, abstract = {Einleitung: K{\"u}nstliche Intelligenz (KI)-Algorithmen unterst{\"u}tzen Endoskopiker bei der Erkennung und Charakterisierung von Kolonpolypen in der klinischen Praxis und f{\"u}hren zu einer Erh{\"o}hung der Adenomdetektionsrate. Auch bei therapeutischen Maßnahmen wie der endoskopischen Submukosadissektion (ESD) k{\"o}nne relevante anatomische Strukturen durch KI mit hoher Genauigkeit erkannt und im endoskopischen Bild in Echtzeit markiert werden. Der Effekt einer solchen Applikation auf die Gef{\"a}ßdetektion von Endoskopikern ist bislang nicht erforscht. Ziele: In dieser Studie wurde der Effekt eines KI-Algorithmus zur Echtzeit-Gef{\"a}ßmarkierung bei ESD auf die Gef{\"a}ßdetektionsrate von Endoskopikern untersucht. Methodik: 59 third space Endoskopievideos wurde aus der Datenbank des Universit{\"a}tsklinikums Augsburg extrahiert. Auf 5470 Einzelbildern dieser Untersuchungen wurde submukosale Blutgef{\"a}ße annotiert. Zusammen mit weiteren 179681 unmarkierten Bildern wurde ein DeepLabV3+ neuronales Netzwerk mit einer semi-supervised learning Methode darin trainiert, submukosale Blutgef{\"a}ße auf dem endoskopischen Bild zu erkennen und in Echtzeit einzuzeichnen. Anhand eines Videotests mit 101 Videoclips und 200 vordefinierten Blutgef{\"a}ßen wurden 19 Endoskopiker mit und ohne KI Unterst{\"u}tzung getestet. Ergebnis: Der Algorithmus erkannte in dem Videotest 93.5\% der Gef{\"a}ße in einer Detektionszeit von im Median 0,3 Sekunden. Die Gef{\"a}ßdetektionsrate von Endoskopikern erh{\"o}hte sich durch KI Unterst{\"u}tzung von 56,4\% auf 72,4\% (p<0.001). Die Gef{\"a}ßdetektionszeit reduzierte sich durch KI-Unterst{\"u}tzung von 6,7 auf 5.2 Sekunden (p<0.001). Der Algorithmus zeigte eine Rate an falsch positiven Detektionen in 4.5\% der Einzelbilder. Falsch positiv erkannte Strukturen wurde k{\"u}rzer detektiert, als richtig positive (0.7 und 6.0 Sekunden, p<0.001). Schlussfolgerung: KI Unterst{\"u}tzung f{\"u}hrte zu einer erh{\"o}hten Gef{\"a}ßdetektionsrate und schnelleren Gef{\"a}ßdetektionszeit von Endoskopikern. Ein m{\"o}glicher klinischer Effekt auf die intraprozedurale Komplikationsrate oder Operationszeit k{\"o}nnte in prospektiven Studien ermittelt werden.}, language = {de} } @misc{RoserMeinikheimMendeletal., author = {Roser, David and Meinikheim, Michael and Mendel, Robert and Palm, Christoph and Muzalyova, Anna and Rauber, David and R{\"u}ckert, Tobias and Parsa, Nasim and Byrne, Michael F. and Messmann, Helmut and Ebigbo, Alanna}, title = {Mensch-Maschine-Interaktion: Einfluss k{\"u}nstlicher Intelligenz auf das diagnostische Vertrauen von Endoskopikern bei der Beurteilung des Barrett-{\"O}sophagus}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {62}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {09}, publisher = {Georg Thieme Verlag KG}, doi = {10.1055/s-0044-1789656}, pages = {e575 -- e576}, abstract = {Ziele: Das Ziel der Studie war es, den Einfluss von KI auf die diagnostische Sicherheit (Konfidenzniveau) von Endoskopikern anhand von B{\"O}-Videos zu untersuchen und m{\"o}gliche Korrelationen mit der Untersuchungsqualit{\"a}t zu erforschen. Methodik: 22 Endoskopiker aus zw{\"o}lf Zentren mit unterschiedlicher Barrett-Erfahrung untersuchten 96 standardisierte Endoskopievideos. Die Untersucher wurden in Experten und Nicht-Experten eingeteilt und nach dem Zufallsprinzip f{\"u}r die Bewertung der Videos mit oder ohne KI eingeteilt. Die Teilnehmer wurden in zwei Gruppen aufgeteilt: Arm A bewertete zun{\"a}chst Videos ohne KI und dann mit KI, w{\"a}hrend Arm B die umgekehrte Reihenfolge einhielt. Die Untersucher hatten die Aufgabe, B{\"O}-assoziierte Neoplasien zu erkennen und ihr Konfidenzniveau sowohl mit als auch ohne KI auf einer Skala von 0 bis 9 anzugeben. Ergebnis: In Arm A erh{\"o}hte der Einsatz von KI das Konfidenzniveau bei beiden signifikant (p<0.001). Bemerkenswert ist, dass jedoch nur Nicht-Experten durch die KI eine signifikante Verbesserung der Sensitivit{\"a}t und Spezifit{\"a}t (p<0.001 bzw. p<0.05) erfuhren. W{\"a}hrend Experten ohne KI im Vergleich zu Nicht-Experten mit KI ein h{\"o}heres Konfidenzniveau aufwiesen, gab es keinen signifikanten Unterschied in der Genauigkeit. In Arm B zeigten beide Gruppen eine signifikante Abnahme des Konfidenzniveaus (p<0.001) bei gleichbleibender Genauigkeit. Dar{\"u}ber hinaus wurden in 9\% der Entscheidungen trotz korrekter KI eine falsche Wahl getroffen. Schlussfolgerung: Der Einsatz k{\"u}nstlicher Intelligenz steigerte das Konfidenzniveau sowohl bei Experten als auch bei Nicht-Experten signifikant - ein Effekt, der im Studienmodell reversibel war. Dar{\"u}ber hinaus wiesen Experten mit oder ohne KI durchweg h{\"o}here Konfidenzniveaus auf als Nicht-Experten mit KI, trotz vergleichbarer Ergebnisse. Zudem konnte beobachtet werden, dass die Untersucher in 9\% der F{\"a}lle die KI zuungunsten des Patienten ignorierten.}, language = {de} } @misc{ScheppachNunesArizietal., author = {Scheppach, Markus W. and Nunes, Danilo Weber and Arizi, X. and Rauber, David and Probst, Andreas and Nagl, Sandra and R{\"o}mmele, Christoph and Palm, Christoph and Messmann, Helmut and Ebigbo, Alanna}, title = {Intraoperative Phasenerkennung bei endoskopischer Submukosadissektion mit Hilfe von k{\"u}nstlicher Intelligenz}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {62}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {09}, publisher = {Georg Thieme Verlag KG}, doi = {10.1055/s-0044-1790084}, pages = {e828}, abstract = {Einleitung: K{\"u}nstliche Intelligenz (KI) wird in der Endoskopie des Gastrointestinaltraktes zur Erkennung und Charakterisierung von Kolonpolypen eingesetzt. Die Rolle von KI bei therapeutischen Maßnahmen wurde noch nicht eingehend untersucht. Eine intraprozedurale Phasenerkennung bei endoskopischer Submukoasdissektion (ESD) k{\"o}nnte die Erhebung von Qualit{\"a}tsindikatoren erm{\"o}glichen. Weiterhin k{\"o}nnte diese Technologie zu einem tieferen Verst{\"a}ndnis {\"u}ber die Eigenschaften der Prozedur f{\"u}hren und weiterf{\"u}hrende Applikationen zur automatischen Dokumentation oder standardisiertem Training vorbereiten. Ziele: Ziel dieser Studie war die Entwicklung eines KI Algorithmus zur intraprozeduralen Phasenerkennung bei endoskopischer Submukosadissektion. Methodik: 2071546 Einzelbilder aus 27 ESD Videos in voller L{\"a}nge wurden f{\"u}r die {\"u}bergeordneten Klassen Diagnostik, Markierung, Nadelinjektion, Dissektion und Blutung, sowie die untergeordneten Klassen Endoskop-Manipulation, Injektion und Applikation von elektrischem Strom annotiert. Mit einem Trainingsdatensatz (898440 Einzelbilder, 17 ESDs) wurde ein Video Swin Transformer mit uniformer Stichprobenentnahme trainiert und intern validiert (769523 Einzelbilder, 6 ESDs). Neben der internen Validierung wurde der Algorithmus anhand von einem separaten Testdatensatz (403583 Einzelbilder, 4 ESDs) evaluiert. Ergebnis: Der F1 Score des Algorithmus f{\"u}r alle Klassen lag in der internen Validierung bei 83\%, in dem separaten Test bei 90\%. Anhand des separaten Tests wurden true positive (TP)-Raten f{\"u}r Diagnostik, Markierung, Nadelinjektion, Dissektion und Blutung von 100\%, 100\%, 96\%, 97\% und 93\% ermittelt. F{\"u}r Endoskopmanipulation, Injektion und Applikation von Elektrizit{\"a}t lagen die TP-Raten bei 92\%, 98\% und 91\%. Schlussfolgerung: Der entwickelte Algorithmus klassifizierte ESD Videos in voller L{\"a}nge und anhand jedes einzelnen Bildes mit hoher Genauigkeit. Zuk{\"u}nftige Forschungsvorhaben k{\"o}nnten intraoperative Qualit{\"a}tsindikatioren auf Basis dieser Informationen entwickeln und eine automatisierte Dokumentation erm{\"o}glichen.}, language = {de} }