TY - GEN A1 - Scheppach, Markus W. A1 - Mendel, Robert A1 - Muzalyova, Anna A1 - Rauber, David A1 - Probst, Andreas A1 - Nagl, Sandra A1 - Römmele, Christoph A1 - Yip, Hon Chi A1 - Lau, Louis Ho Shing A1 - Gölder, Stefan Karl A1 - Schmidt, Arthur A1 - Kouladouros, Konstantinos A1 - Abdelhafez, Mohamed A1 - Walter, B. A1 - Meinikheim, Michael A1 - Chiu, Philip Wai Yan A1 - Palm, Christoph A1 - Messmann, Helmut A1 - Ebigbo, Alanna T1 - Künstliche Intelligenz erhöht die Gefäßerkennung von Endoskopikern bei third space Endoskopie T2 - Zeitschrift für Gastroenterologie N2 - Einleitung: Künstliche Intelligenz (KI)-Algorithmen unterstützen Endoskopiker bei der Erkennung und Charakterisierung von Kolonpolypen in der klinischen Praxis und führen zu einer Erhöhung der Adenomdetektionsrate. Auch bei therapeutischen Maßnahmen wie der endoskopischen Submukosadissektion (ESD) könne relevante anatomische Strukturen durch KI mit hoher Genauigkeit erkannt und im endoskopischen Bild in Echtzeit markiert werden. Der Effekt einer solchen Applikation auf die Gefäßdetektion von Endoskopikern ist bislang nicht erforscht. Ziele:  In dieser Studie wurde der Effekt eines KI-Algorithmus zur Echtzeit-Gefäßmarkierung bei ESD auf die Gefäßdetektionsrate von Endoskopikern untersucht. Methodik:  59 third space Endoskopievideos wurde aus der Datenbank des Universitätsklinikums Augsburg extrahiert. Auf 5470 Einzelbildern dieser Untersuchungen wurde submukosale Blutgefäße annotiert. Zusammen mit weiteren 179681 unmarkierten Bildern wurde ein DeepLabV3+ neuronales Netzwerk mit einer semi-supervised learning Methode darin trainiert, submukosale Blutgefäße auf dem endoskopischen Bild zu erkennen und in Echtzeit einzuzeichnen. Anhand eines Videotests mit 101 Videoclips und 200 vordefinierten Blutgefäßen wurden 19 Endoskopiker mit und ohne KI Unterstützung getestet. Ergebnis:  Der Algorithmus erkannte in dem Videotest 93.5% der Gefäße in einer Detektionszeit von im Median 0,3 Sekunden. Die Gefäßdetektionsrate von Endoskopikern erhöhte sich durch KI Unterstützung von 56,4% auf 72,4% (p<0.001). Die Gefäßdetektionszeit reduzierte sich durch KI-Unterstützung von 6,7 auf 5.2 Sekunden (p<0.001). Der Algorithmus zeigte eine Rate an falsch positiven Detektionen in 4.5% der Einzelbilder. Falsch positiv erkannte Strukturen wurde kürzer detektiert, als richtig positive (0.7 und 6.0 Sekunden, p<0.001). Schlussfolgerung:  KI Unterstützung führte zu einer erhöhten Gefäßdetektionsrate und schnelleren Gefäßdetektionszeit von Endoskopikern. Ein möglicher klinischer Effekt auf die intraprozedurale Komplikationsrate oder Operationszeit könnte in prospektiven Studien ermittelt werden. Y1 - 2024 U6 - https://doi.org/10.1055/s-0044-1790087 VL - 62 IS - 09 SP - e830 PB - Georg Thieme Verlag KG ER - TY - GEN A1 - Roser, David A1 - Meinikheim, Michael A1 - Mendel, Robert A1 - Palm, Christoph A1 - Muzalyova, Anna A1 - Rauber, David A1 - Rückert, Tobias A1 - Parsa, Nasim A1 - Byrne, Michael F. A1 - Messmann, Helmut A1 - Ebigbo, Alanna T1 - Mensch-Maschine-Interaktion: Einfluss künstlicher Intelligenz auf das diagnostische Vertrauen von Endoskopikern bei der Beurteilung des Barrett-Ösophagus T2 - Zeitschrift für Gastroenterologie N2 - Ziele:  Das Ziel der Studie war es, den Einfluss von KI auf die diagnostische Sicherheit (Konfidenzniveau) von Endoskopikern anhand von BÖ-Videos zu untersuchen und mögliche Korrelationen mit der Untersuchungsqualität zu erforschen. Methodik:  22 Endoskopiker aus zwölf Zentren mit unterschiedlicher Barrett-Erfahrung untersuchten 96 standardisierte Endoskopievideos. Die Untersucher wurden in Experten und Nicht-Experten eingeteilt und nach dem Zufallsprinzip für die Bewertung der Videos mit oder ohne KI eingeteilt. Die Teilnehmer wurden in zwei Gruppen aufgeteilt: Arm A bewertete zunächst Videos ohne KI und dann mit KI, während Arm B die umgekehrte Reihenfolge einhielt. Die Untersucher hatten die Aufgabe, BÖ-assoziierte Neoplasien zu erkennen und ihr Konfidenzniveau sowohl mit als auch ohne KI auf einer Skala von 0 bis 9 anzugeben. Ergebnis:  In Arm A erhöhte der Einsatz von KI das Konfidenzniveau bei beiden signifikant (p<0.001). Bemerkenswert ist, dass jedoch nur Nicht-Experten durch die KI eine signifikante Verbesserung der Sensitivität und Spezifität (p<0.001 bzw. p<0.05) erfuhren. Während Experten ohne KI im Vergleich zu Nicht-Experten mit KI ein höheres Konfidenzniveau aufwiesen, gab es keinen signifikanten Unterschied in der Genauigkeit. In Arm B zeigten beide Gruppen eine signifikante Abnahme des Konfidenzniveaus (p<0.001) bei gleichbleibender Genauigkeit. Darüber hinaus wurden in 9% der Entscheidungen trotz korrekter KI eine falsche Wahl getroffen. Schlussfolgerung:  Der Einsatz künstlicher Intelligenz steigerte das Konfidenzniveau sowohl bei Experten als auch bei Nicht-Experten signifikant – ein Effekt, der im Studienmodell reversibel war. Darüber hinaus wiesen Experten mit oder ohne KI durchweg höhere Konfidenzniveaus auf als Nicht-Experten mit KI, trotz vergleichbarer Ergebnisse. Zudem konnte beobachtet werden, dass die Untersucher in 9% der Fälle die KI zuungunsten des Patienten ignorierten. Y1 - 2024 U6 - https://doi.org/10.1055/s-0044-1789656 VL - 62 IS - 09 SP - e575 EP - e576 PB - Georg Thieme Verlag KG ER - TY - GEN A1 - Scheppach, Markus W. A1 - Nunes, Danilo Weber A1 - Arizi, X. A1 - Rauber, David A1 - Probst, Andreas A1 - Nagl, Sandra A1 - Römmele, Christoph A1 - Palm, Christoph A1 - Messmann, Helmut A1 - Ebigbo, Alanna T1 - Intraoperative Phasenerkennung bei endoskopischer Submukosadissektion mit Hilfe von künstlicher Intelligenz T2 - Zeitschrift für Gastroenterologie N2 - Einleitung:  Künstliche Intelligenz (KI) wird in der Endoskopie des Gastrointestinaltraktes zur Erkennung und Charakterisierung von Kolonpolypen eingesetzt. Die Rolle von KI bei therapeutischen Maßnahmen wurde noch nicht eingehend untersucht. Eine intraprozedurale Phasenerkennung bei endoskopischer Submukoasdissektion (ESD) könnte die Erhebung von Qualitätsindikatoren ermöglichen. Weiterhin könnte diese Technologie zu einem tieferen Verständnis über die Eigenschaften der Prozedur führen und weiterführende Applikationen zur automatischen Dokumentation oder standardisiertem Training vorbereiten. Ziele: Ziel dieser Studie war die Entwicklung eines KI Algorithmus zur intraprozeduralen Phasenerkennung bei endoskopischer Submukosadissektion. Methodik:  2071546 Einzelbilder aus 27 ESD Videos in voller Länge wurden für die übergeordneten Klassen Diagnostik, Markierung, Nadelinjektion, Dissektion und Blutung, sowie die untergeordneten Klassen Endoskop-Manipulation, Injektion und Applikation von elektrischem Strom annotiert. Mit einem Trainingsdatensatz (898440 Einzelbilder, 17 ESDs) wurde ein Video Swin Transformer mit uniformer Stichprobenentnahme trainiert und intern validiert (769523 Einzelbilder, 6 ESDs). Neben der internen Validierung wurde der Algorithmus anhand von einem separaten Testdatensatz (403583 Einzelbilder, 4 ESDs) evaluiert. Ergebnis:  Der F1 Score des Algorithmus für alle Klassen lag in der internen Validierung bei 83%, in dem separaten Test bei 90%. Anhand des separaten Tests wurden true positive (TP)-Raten für Diagnostik, Markierung, Nadelinjektion, Dissektion und Blutung von 100%, 100%, 96%, 97% und 93% ermittelt. Für Endoskopmanipulation, Injektion und Applikation von Elektrizität lagen die TP-Raten bei 92%, 98% und 91%. Schlussfolgerung:  Der entwickelte Algorithmus klassifizierte ESD Videos in voller Länge und anhand jedes einzelnen Bildes mit hoher Genauigkeit. Zukünftige Forschungsvorhaben könnten intraoperative Qualitätsindikatioren auf Basis dieser Informationen entwickeln und eine automatisierte Dokumentation ermöglichen. Y1 - 2024 U6 - https://doi.org/10.1055/s-0044-1790084 VL - 62 IS - 09 SP - e828 PB - Georg Thieme Verlag KG ER - TY - GEN A1 - Zellmer, Stephan A1 - Rauber, David A1 - Probst, Andreas A1 - Weber, Tobias A1 - Nagl, Sandra A1 - Römmele, Christoph A1 - Schnoy, Elisabeth A1 - Palm, Christoph A1 - Messmann, Helmut A1 - Ebigbo, Alanna T1 - Verwendung künstlicher Intelligenz bei der Detektion der Papilla duodeni major T2 - Zeitschrift für Gastroenterologie N2 - Einleitung Die Endoskopische Retrograde Cholangiopankreatikographie (ERCP) ist der Goldstandard in der Diagnostik und Therapie von Erkrankungen des pankreatobiliären Trakts. Jedoch ist sie technisch sehr anspruchsvoll und weist eine vergleichsweise hohe Komplikationsrate auf. Ziele  In der vorliegenden Machbarkeitsstudie soll geprüft werden, ob mithilfe eines Deep-learning-Algorithmus die Papille und das Ostium zuverlässig detektiert werden können und somit für Endoskopiker mit geringer Erfahrung ein geeignetes Hilfsmittel, insbesondere für die Ausbildungssituation, darstellen könnten. Methodik Wir betrachteten insgesamt 606 Bilddatensätze von 65 Patienten. In diesen wurde sowohl die Papilla duodeni major als auch das Ostium segmentiert. Anschließend wurde eine neuronales Netz mittels eines Deep-learning-Algorithmus trainiert. Außerdem erfolgte eine 5-fache Kreuzvaldierung. Ergebnisse Bei einer 5-fachen Kreuzvaldierung auf den 606 gelabelten Daten konnte für die Klasse Papille eine F1-Wert von 0,7908, eine Sensitivität von 0,7943 und eine Spezifität von 0,9785 erreicht werden, für die Klasse Ostium eine F1-Wert von 0,5538, eine Sensitivität von 0,5094 und eine Spezifität von 0,9970 (vgl. [Tab. 1]). Unabhängig von der Klasse zeigte sich gemittelt (Klasse Papille und Klasse Ostium) ein F1-Wert von 0,6673, eine Sensitivität von 0,6519 und eine Spezifität von 0,9877 (vgl. [Tab. 2]). Schlussfolgerung  In vorliegende Machbarkeitsstudie konnte das neuronale Netz die Papilla duodeni major mit einer hohen Sensitivität und sehr hohen Spezifität identifizieren. Bei der Detektion des Ostiums war die Sensitivität deutlich geringer. Zukünftig soll das das neuronale Netz mit mehr Daten trainiert werden. Außerdem ist geplant, den Algorithmus auch auf Videos anzuwenden. Somit könnte langfristig ein geeignetes Hilfsmittel für die ERCP etabliert werden. KW - Künstliche Intelligenz Y1 - 2023 UR - https://www.thieme-connect.de/products/ejournals/abstract/10.1055/s-0043-1772000 U6 - https://doi.org/10.1055/s-0043-1772000 VL - 61 IS - 08 SP - e539 EP - e540 PB - Thieme CY - Stuttgart ER - TY - JOUR A1 - Rueckert, Tobias A1 - Rauber, David A1 - Maerkl, Raphaela A1 - Klausmann, Leonard A1 - Yildiran, Suemeyye R. A1 - Gutbrod, Max A1 - Nunes, Danilo Weber A1 - Moreno, Alvaro Fernandez A1 - Luengo, Imanol A1 - Stoyanov, Danail A1 - Toussaint, Nicolas A1 - Cho, Enki A1 - Kim, Hyeon Bae A1 - Choo, Oh Sung A1 - Kim, Ka Young A1 - Kim, Seong Tae A1 - Arantes, Gonçalo A1 - Song, Kehan A1 - Zhu, Jianjun A1 - Xiong, Junchen A1 - Lin, Tingyi A1 - Kikuchi, Shunsuke A1 - Matsuzaki, Hiroki A1 - Kouno, Atsushi A1 - Manesco, João Renato Ribeiro A1 - Papa, João Paulo A1 - Choi, Tae-Min A1 - Jeong, Tae Kyeong A1 - Park, Juyoun A1 - Alabi, Oluwatosin A1 - Wei, Meng A1 - Vercauteren, Tom A1 - Wu, Runzhi A1 - Xu, Mengya A1 - Wang, An A1 - Bai, Long A1 - Ren, Hongliang A1 - Yamlahi, Amine A1 - Hennighausen, Jakob A1 - Maier-Hein, Lena A1 - Kondo, Satoshi A1 - Kasai, Satoshi A1 - Hirasawa, Kousuke A1 - Yang, Shu A1 - Wang, Yihui A1 - Chen, Hao A1 - Rodríguez, Santiago A1 - Aparicio, Nicolás A1 - Manrique, Leonardo A1 - Palm, Christoph A1 - Wilhelm, Dirk A1 - Feussner, Hubertus A1 - Rueckert, Daniel A1 - Speidel, Stefanie A1 - Nasirihaghighi, Sahar A1 - Al Khalil, Yasmina A1 - Li, Yiping A1 - Arbeláez, Pablo A1 - Ayobi, Nicolás A1 - Hosie, Olivia A1 - Lyons, Juan Camilo T1 - Comparative validation of surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation in endoscopy: Results of the PhaKIR 2024 challenge JF - Medical Image Analysis N2 - Reliable recognition and localization of surgical instruments in endoscopic video recordings are foundational for a wide range of applications in computer- and robot-assisted minimally invasive surgery (RAMIS), including surgical training, skill assessment, and autonomous assistance. However, robust performance under real-world conditions remains a significant challenge. Incorporating surgical context – such as the current procedural phase – has emerged as a promising strategy to improve robustness and interpretability. To address these challenges, we organized the Surgical Procedure Phase, Keypoint, and Instrument Recognition (PhaKIR) sub-challenge as part of the Endoscopic Vision (EndoVis) challenge at MICCAI 2024. We introduced a novel, multi-center dataset comprising thirteen full-length laparoscopic cholecystectomy videos collected from three distinct medical institutions, with unified annotations for three interrelated tasks: surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation. Unlike existing datasets, ours enables joint investigation of instrument localization and procedural context within the same data while supporting the integration of temporal information across entire procedures. We report results and findings in accordance with the BIAS guidelines for biomedical image analysis challenges. The PhaKIR sub-challenge advances the field by providing a unique benchmark for developing temporally aware, context-driven methods in RAMIS and offers a high-quality resource to support future research in surgical scene understanding. KW - Surgical phase recognition KW - Instrument keypoint estimation KW - Instrument instance segmentation KW - Robot-assisted surgery Y1 - 2026 U6 - https://doi.org/10.1016/j.media.2026.103945 SN - 1361-8415 N1 - Corresponding author der OTH Regensburg: Tobias Rueckert Die Preprint-Version ist ebenfalls in diesem Repositorium verzeichnet unter: https://opus4.kobv.de/opus4-oth-regensburg/solrsearch/index/search/start/0/rows/10/sortfield/score/sortorder/desc/searchtype/simple/query/2507.16559 VL - 109 PB - Elsevier ER - TY - GEN A1 - Rueckert, Tobias A1 - Rauber, David A1 - Klausmann, Leonard A1 - Gutbrod, Max A1 - Rueckert, Daniel A1 - Feussner, Hubertus A1 - Wilhelm, Dirk A1 - Palm, Christoph T1 - PhaKIR Dataset - Surgical Procedure Phase, Keypoint, and Instrument Recognition [Data set] N2 - Note: A script for extracting the individual frames from the video files while preserving the challenge-compliant directory structure and frame-to-mask naming conventions is available on GitHub and can be accessed here: https://github.com/remic-othr/PhaKIR_Dataset. The dataset is described in the following publications: Rueckert, Tobias et al.: Comparative validation of surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation in endoscopy: Results of the PhaKIR 2024 challenge. arXiv preprint, https://arxiv.org/abs/2507.16559. 2025. Rueckert, Tobias et al.: Video Dataset for Surgical Phase, Keypoint, and Instrument Recognition in Laparoscopic Surgery (PhaKIR). arXiv preprint, https://arxiv.org/abs/2511.06549. 2025. The proposed dataset was used as the training dataset in the PhaKIR challenge (https://phakir.re-mic.de/) as part of EndoVis-2024 at MICCAI 2024 and consists of eight real-world videos of human cholecystectomies ranging from 23 to 60 minutes in duration. The procedures were performed by experienced physicians, and the videos were recorded in three hospitals. In addition to existing datasets, our annotations provide pixel-wise instance segmentation masks of surgical instruments for a total of 19 categories, coordinates of relevant instrument keypoints (instrument tip(s), shaft-tip transition, shaft), both at an interval of one frame per second, and specifications regarding the intervention phases for a total of eight different phase categories for each individual frame in one dataset and thus comprehensively cover instrument localization and the context of the operation. Furthermore, the provision of the complete video sequences offers the opportunity to include the temporal information regarding the respective tasks and thus further optimize the resulting methods and outcomes. Y1 - 2025 U6 - https://doi.org/10.5281/zenodo.15740620 ER - TY - GEN A1 - Gutbrod, Max A1 - Rauber, David A1 - Weber Nunes, Danilo A1 - Palm, Christoph T1 - A cleaned subset of the first five CATARACTS test videos [Data set] N2 - This dataset is a subset of the original CATARACTS test dataset and is used by the OpenMIBOOD framework to evaluate a specific out-of-distribution setting. When using this dataset, it is mandatory to cite the corresponding publication (OpenMIBOOD (10.1109/CVPR52734.2025.02410)) and follow the acknowledgement and citation requirements of the original dataset (CATARACTS). The original CATARACTS dataset (associated publication,Homepage) consists of 50 videos of cataract surgeries, split into 25 train and 25 test videos. This subset contains the frames of the first 5 test videos. Further, black frames at the beginning of each video were removed. Y1 - 2025 U6 - https://doi.org/10.5281/zenodo.14924735 N1 - Related works: Is derived from: Dataset: 10.21227/ac97-8m18 (DOI) Software: Repository URL: https://github.com/remic-othr/OpenMIBOOD ER - TY - GEN A1 - Gutbrod, Max A1 - Rauber, David A1 - Weber Nunes, Danilo A1 - Palm, Christoph T1 - Cropped single instrument frames subset from Cholec80 [Data set] N2 - This dataset is a subset of the original Cholec80 dataset and is used by the OpenMIBOOD framework to evaluate a specific out-of-distribution setting. When using this dataset, it is mandatory to cite the corresponding publication (OpenMIBOOD) and to follow the acknowledgement and citation requirements of the original dataset (Cholec80). The original Cholec80 dataset (associated paper,Homepage) consists of 80 cholecystectomy surgery videos recorded at 25 fps, performed by 13 surgeons. It includes phase annotations (25 fps) and tool presence labels (1 fps), with phase definitions provided by a senior surgeon. A tool is considered present if at least half of its tip is visible. The dataset categorizes tools into seven types: Grasper, Bipolar, Hook, Scissors, Clipper, Irrigator, and Specimen bag. Multiple tools may be present in each frame. Additionally, 76 of the 80 videos exhibit a strong black vignette. For this dataset subset, frames were extracted based on tool presence labels, selecting only those containing Grasper, Bipolar, Hook, or Clipper while ensuring that only a single tool appears per frame. To enhance visual consistency, the black vignette was removed by extracting an inner rectangular region, where applicable. KW - Tool Presence Detection KW - Cholecystectomy KW - Laparoscopic KW - Deep Learning KW - Out-Of-Distribution Detection Y1 - 2025 U6 - https://doi.org/10.5281/zenodo.14921670 N1 - Related works Is derived from Journal article: 10.1109/TMI.2016.2593957 Software Repository URL https://github.com/remic-othr/OpenMIBOOD ER - TY - GEN A1 - Gutbrod, Max A1 - Rauber, David A1 - Weber Nunes, Danilo A1 - Palm, Christoph T1 - OpenMIBOOD's classification models for the MIDOG, PhaKIR, and OASIS-3 benchmarks [Data set] N2 - These models are provided for evaluating post-hoc out-of-distribution methods on the three OpenMIBOOD benchmarks: MIDOG, PhaKIR, and OASIS-3. When using these models, make sure to give appropriate credit and cite the OpenMIBOOD publication. Y1 - 2025 U6 - https://doi.org/10.5281/zenodo.14982267 N1 - Software Repository URL https://github.com/remic-othr/OpenMIBOOD ER - TY - THES A1 - Souza Jr., Luis Antonio de T1 - Computer-assisted diagnosis of Barrett's esophagus using machine learning techniques T1 - Auxílio ao diagnóstico automático do esôfago de Barrett utilizando aprendizado de máquina N2 - Esophageal adenocarcinoma is an illness that is usually hard to detect at the early stages in the presence of Barrett’s esohagus. The development of automatic evaluation systems of such illness may be very useful, thus assisting the experts in the neoplastic region detection. With the strong growth of machine learning techniques aiming to improve the effectivess of medical diagnosis, the use of such approaches characterizes a strong scenario to be explored for the early diagnosis of esophageal adenocarcinoma. Barrett’s esophagus as a predecessor of adenocarcinoma can be explained by some risk factors, such as obesity, smoking, and late medical diagnosis. This project proposes the development of new computer vision and machine learning techniques to assist the automatic diagnosis of the esophageal adenocarcinioma based on the evaluation of two kind of features: (i) handcrafted features, calculated by means of human knowledge using some image processing technique and; (ii) deeply-learnable features, calculated exclusively based on deep learning techniques. From the extensive application of global and local protocols for the models proposed in this work, the description of cancer-affected images and Barrett’s esophagus-affected samples were generalized and deeply evaluated using, for example, classifiers such as Support Vector Machines, ResNet-50 and the combination of descriptions by handcrafted and deeply-learnable features. Also, the behavior of the automatic definition of key-points within the evaluated techniques was observed, something of a paramount importance nowadays to guarantee transparency and reliability in the decisions made by computational techniques. Thus, this project contributes to both the computational and medical fields, introducing new classifiers, approaches and interpretation of the class generalization process, in addition to proposing fast and precise manners to define cancer, delivering important and novel results concerning the accurate identification of cancer in samples affected by Barrett’s esophagus, showing values around 95% of correct identification rates and arranged in a collection of scientific works developed by the author during the research period and submitted/published to date. KW - Machine Learning KW - Barrett's esophagus KW - Deep Learning KW - handcrafted features KW - deeply-learnable features KW - convolutional neural networks KW - interpretability Y1 - 2022 PB - Universidade Federal de São Carlos ER - TY - JOUR A1 - de Souza Júnior, Luis Antonio A1 - Pacheco, André Georghton Cardoso A1 - Oliveira dos Santos, Thiago A1 - Fogos da Rocha, Wyctor A1 - Bouzon, Pedro Henrique A1 - Palm, Christoph A1 - Papa, João Paulo T1 - LiwTERM-r: a Revised Lightweight Transformer-based Model for Multimodal Skin Lesion Detection Robust to Incomplete Input JF - Journal of the Brazilian Computer Society N2 - As the most common type of cancer in the world, skin cancer accounts for approximately 30% of all diagnosed tumor-based lesions. Early diagnosis can reduce mortality and prevent disfiguring in different skin regions. With the application of machine learning techniques in recent years, especially deep learning, promising results in this task could be achieved, presenting studies demonstrating that the combination of patients’ clinical anamneses and images of the injured lesion is essential for improving the correct classification of skin lesions. Despite that, meaningful use of anamneses with multiple collected images of the same skin lesion is mandatory, requiring further investigation. Thus, this project aims to contribute to developing multimodal machine learning-based models to solve the skin lesion classification problem by employing a lightweight transformer model that is robust to missing clinical information input. As a main hypothesis, models can be fed by multiple images from different sources as input along with clinical anamneses from the patient’s historical evaluations, leading to a more factual and trustworthy diagnosis. Our model deals with the not-trivial task of combining images and clinical information concerning the skin lesions in a lightweight transformer architecture that does not demand high computation resources or even all the information from the anamneses but still presents competitive classification results. KW - Deep learning KW - Skin Lesion Detection KW - Transformers KW - Lightweight Architectures Y1 - 2026 U6 - https://doi.org/10.5753/jbcs.2026.5871 VL - 32 IS - 1 PB - Brazilian Computer Society ER - TY - GEN ED - Handels, Heinz ED - Breininger, Katharina ED - Deserno, Thomas M. ED - Maier, Andreas ED - Maier-Hein, Klaus H. ED - Palm, Christoph ED - Tolxdorff, Thomas T1 - Bildverarbeitung für die Medizin 2026 : Proceedings, German Conference on Medical Image Computing, Lübeck March 15–17, 2026 N2 - Die Konferenz "BVM – Bildverarbeitung für die Medizin" ist seit vielen Jahren als die nationale Plattform für den Austausch von Ideen und die Diskussion der neuesten Forschungsergebnisse im Bereich der Medizinischen Bildverarbeitung und der Künstlichen Intelligenz (KI) etabliert. Auch 2026 haben (junge) Wissenschaftler*innen, Industrie und Anwender*innen diesen Austausch vertieft. Die Beiträge dieses Bandes – die meisten davon in englischer Sprache – umfassen alle Bereiche der medizinischen Bildverarbeitung, insbesondere die Bildgebung und -akquisition, Segmentierung und Analyse, Registrierung, Visualisierung und Animation, computerunterstützte Diagnose sowie bildgestützte Therapieplanung und Therapie. Hierbei kommen Methoden des maschinellen Lernens, der biomechanischen Modellierung sowie der Validierung und Qualitätssicherung zum Einsatz. KW - Bildverarbeitung KW - Computerunterstützte Medizin KW - Bildgebendes Verfahren KW - Bildanalyse KW - Deep Learning Y1 - 2026 SN - 978-3-658-51099-2 U6 - https://doi.org/10.1007/978-3-658-51100-5 SN - 1431-472X PB - Springer Vieweg CY - Wiesbaden ER - TY - GEN A1 - Klausmann, Leonard A1 - Rueckert, Tobias A1 - Rauber, David A1 - Maerkl, Raphaela A1 - Yildiran, Suemeyye R. A1 - Gutbrod, Max A1 - Palm, Christoph ED - Handels, Heinz ED - Breininger, Katharina ED - Deserno, Thomas M. ED - Maier, Andreas ED - Maier-Hein, Klaus H. ED - Palm, Christoph ED - Tolxdorff, Thomas T1 - Abstract: DIY Challenge Blueprint BT - from organization to technical implementation in Biomedical Image Analysis T2 - Bildverarbeitung für die Medizin 2025: Proceedings, German Conference on Medical Image Computing, Lübeck March 15-17, 2026 N2 - The high cost of challenge platforms prevents many people from organizing their own competitions. The do-it-yourself (DIY) challenge blueprint [1] allows you to host your own biomedical AI benchmark challenge. Our DIY approach circumvents the current constraints of commercial challenge platforms. A sovereign, extensible and cost-efficient deployment is provided via containerised, identity-managed and reproducible pipelines. Focus lies on GDPR-compliant hosting via infrastructure-as-code, automated evaluation, modular orchestration, and role-based identity and access management. The framework integrates Docker-based execution and standardised interfaces for task definitions, dataset curation and evaluation. All in all it is designed to be flexible and modular, as demonstrated in the MICCAI 2024 PhaKIR challenge [2, 3]. In this case study, different medical tasks on a multicentre laparoscopic dataset with framewise labels for phases and spatial annotations for instruments across fulllength videos were supported. This case study empirically validates the DIY challenge blueprint as a reproducible and customizable challenge-hosting infrastructure. The full code can be found at https://github.com/remic-othr/PhaKIR_DIY. KW - Bildverarbeitung Y1 - 2026 U6 - https://doi.org/10.1007/978-3-658-51100-5_27 SP - 131 EP - 131 PB - Springer Vieweg CY - Wiesbaden ER - TY - CHAP A1 - Gutbrod, Max A1 - Rauber, David A1 - Palm, Christoph ED - Handels, Heinz ED - Breininger, Katharina ED - Deserno, Thomas M. ED - Maier, Andreas ED - Maier-Hein, Klaus H. ED - Palm, Christoph ED - Tolxdorff, Thomas T1 - Improving Generalization in Mitotic Cell Detection via Domain Transformations T2 - Bildverarbeitung für die Medizin 2025: Proceedings, German Conference on Medical Image Computing, Lübeck March 15-17, 2026 N2 - We address domain generalization (DG) in mitotic-cell (MC) detection by combining a β-variational autoencoder (VAE) for domain transformations with feature-space alignment together with an object detector. The β-VAE synthesizes domain-transformed images, and the detector is trained to map originals and their transformed counterparts to equal representations. On the MIDOG++ dataset, this approach improves out-of-domain detection F1 scores by 7 and 3 percentage points compared to the color-variation augmentation and stain-normalization baselines. Results further suggest that morphology shifts hinder generalization more than stain shifts. KW - Künstliche Intelligenz KW - Bildverarbeitung Y1 - 2026 U6 - https://doi.org/10.1007/978-3-658-51100-5_71 SP - 362 EP - 367 PB - Springer Vieweg CY - Wiesbaden ER - TY - JOUR A1 - Wallner, M. A1 - Gutbrod, Max A1 - Rauber, David A1 - Ebigbo, Alanna A1 - Probst, Andreas A1 - Palm, Christoph A1 - Messmann, Helmut A1 - Roser, David T1 - KI-gestützte Detektion und Segmentierung von Magenkarzinomen in westlichen endoskopischen Bilddaten anhand eines fine-tuned Deep-Learning Ansatzes JF - Zeitschrift für Gastroenterologie N2 - Diese vorläufige monozentrische Studie zeigt, dass ein aus einem Barrett-Ösophagus-KI-System feinjustiertes Deep-Learning-Modell Magenkarzinome in westlichen multimodalen endoskopischen Bilddaten zuverlässig detektieren und präzise segmentieren kann. Die hohe Segmentierungsgenauigkeit und Detektionssensitivität über verschiedene Bildmodalitäten hinweg unterstreichen die Machbarkeit eines pathologiegestützten KI-Ansatzes auch in einer westlichen Niedriginzidenzpopulation. Aufgrund der ausschließlichen Verwendung von Bildern mit sichtbaren Tumoren lassen sich keine Aussagen zur Spezifität treffen; eine Übertragbarkeit auf Screening- oder Mischkollektive ist daher limitiert. Weitere Studien mit a) größerem Datensatz inklusive Videodaten, b) externer Validierung an einer multizentrischen westlichen Kohorte, sowie c) Anwendung und Prüfung an nicht-neoplastischen Vergleichsbildern oder anderen Pathologien sind erforderlich. Nach unserem Kenntnisstand zählt dieses System zu den ersten in einer westlichen Population entwickelten endoskopischen KI-Ansätzen zur Magenkarzinomdetektion, und zu wenigen, die vollständige ESD-präparatbasierte Referenzdaten für Training und Validierung nutzen. Y1 - 2026 U6 - https://doi.org/10.1055/s-0046-1817751 VL - 64 IS - 03 SP - e64 EP - e65 PB - Thieme ER - TY - JOUR A1 - Weiherer, Maximilian A1 - von Riedheim, Antonia A1 - Brébant, Vanessa A1 - Egger, Bernhard A1 - Palm, Christoph T1 - Learning Neural Parametric 3D Breast Shape Models for Metrical Surface Reconstruction From Monocular RGB Videos JF - Machine Learning for Biomedical Imaging (MELBA) N2 - We present a neural parametric 3D breast shape model and, based on this model, introduce a low-cost and accessible 3D surface reconstruction pipeline capable of recovering accurate breast geometry from a monocular RGB video. In contrast to widely used, commercially available yet expensive 3D breast scanning solutions and existing low-cost alternatives, our method requires neither specialized hardware nor proprietary software and can be used with any device that is able to record RGB videos. The key building blocks of our pipeline are a state-of-the-art, off-the-shelf Structure-from-Motion pipeline, paired with a parametric breast model for robust surface reconstruction. Our model, similarly to the recently proposed implicit Regensburg Breast Shape Model (iRBSM), leverages implicit neural representations to model breast shapes. However, unlike the iRBSM, which employs a single global neural Signed Distance Function (SDF), our approach—inspired by recent state-of-the-art face models—decomposes the implicit breast domain into multiple smaller regions, each represented by a local neural SDF anchored at anatomical landmark positions. When incorporated into our surface reconstruction pipeline, the proposed model, dubbed liRBSM (short for localized iRBSM), significantly outperforms the iRBSM in terms of reconstruction quality, yielding more detailed surface reconstruction than its global counterpart. Overall, we find that the introduced pipeline is able to recover high-quality and metrically correct 3D breast geometry within an error margin of less than 2 mm. Our method is fast (requires less than six minutes), fully transparent and open-source, and together with the model publicly available at https://rbsm.re-mic.de/local-implicit. KW - 3D Reconstruction KW - Shape Modeling Y1 - 2026 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:898-opus4-89791 IS - MELBA–BVM 2025 Special Issue SP - 95 EP - 114 PB - Melba ER -