TY - GEN A1 - Zellmer, Stephan A1 - Rauber, David A1 - Probst, Andreas A1 - Weber, Tobias A1 - Braun, Georg A1 - Nagl, Sandra A1 - Römmele, Christoph A1 - Schnoy, Elisabeth A1 - Birzle, Lisa A1 - Aehling, Niklas A1 - Schulz, Dominik Andreas Helmut Otto A1 - Palm, Christoph A1 - Messmann, Helmut A1 - Ebigbo, Alanna T1 - Künstliche Intelligenz als Hilfsmittel zur Detektion der Papilla duodeni major und des papillären Ostiums während der ERCP T2 - Zeitschrift für Gastroenterologie N2 - Einleitung  Die Endoskopische Retrograde Cholangiopankreatikographie (ERCP) ist der Goldstandard in der endoskopischen Therapie von Erkrankungen des pankreatobiliären Trakts. Allerdings ist sie technisch anspruchsvoll, schwer zu erlernen und mit einer relativ hohen Komplikationsrate assoziiert. Daher soll in der vorliegenden Machbarkeitsstudie geprüft werden, ob mithilfe eines Deeplearning- Algorithmus die Papille und das Ostium zuverlässig detektiert werden können und dieser für Endoskopiker, insbesondere in der Ausbildungssituation, ein geeignetes Hilfsmittel darstellen könnte. Material und Methodik Insgesamt wurden 1534 ERCP-Bilder von 134 Patienten analysiert, wobei sowohl die Papilla duodeni major als auch das Ostium segmentiert wurden. Anschließend erfolgte das Training eines neuronalen Netzes unter Verwendung eines Deep-Learning-Algorithmus. Für den Test des Algorithmus erfolgte eine fünffache Kreuzvalidierung. Ergebnisse  Auf den 1534 gelabelten Bildern wurden für die Klasse Papille ein F1-Wert von 0,7996, eine Sensitivität von 0,8488 und eine Spezifität von 0,9822 erzielt. Für die Klasse Ostium ergaben sich ein F1-Wert von 0,5198, eine Sensitivität von 0,5945 und eine Spezifität von 0,9974. Klassenübergreifend (Klasse Papille und Klasse Ostium) betrug der F1-Wert 0,6593, die Sensitivität 0,7216 und für die Spezifität 0,9898. Zusammenfassung  In der vorliegenden Machbarkeitsstudie zeigte das neuronale Netz eine hohe Sensitivität und eine sehr hohe Spezifität bei der Identifikation der Papilla duodeni major. Die Detektion des Ostiums erfolgte hingegen mit einer deutlich geringeren Sensitivität. Zukünftig ist eine Erweiterung des Trainingsdatensatzes um Videos und klinische Daten vorgesehen, um die Leistungsfähigkeit des Netzwerks zu verbessern. Hierdurch könnte langfristig ein geeignetes Assistenzsystem für die ERCP, insbesondere in der Ausbildungssituation etabliert werden. Y1 - 2025 U6 - https://doi.org/10.1055/s-0045-1806882 VL - 63 IS - 5 SP - e295 PB - Thieme CY - Stuttgart ER - TY - JOUR A1 - Maerkl, Raphaela A1 - Rueckert, Tobias A1 - Rauber, David A1 - Gutbrod, Max A1 - Weber Nunes, Danilo A1 - Palm, Christoph T1 - Enhancing generalization in zero-shot multi-label endoscopic instrument classification JF - International Journal of Computer Assisted Radiology and Surgery N2 - Purpose Recognizing previously unseen classes with neural networks is a significant challenge due to their limited generalization capabilities. This issue is particularly critical in safety-critical domains such as medical applications, where accurate classification is essential for reliability and patient safety. Zero-shot learning methods address this challenge by utilizing additional semantic data, with their performance relying heavily on the quality of the generated embeddings. Methods This work investigates the use of full descriptive sentences, generated by a Sentence-BERT model, as class representations, compared to simpler category-based word embeddings derived from a BERT model. Additionally, the impact of z-score normalization as a post-processing step on these embeddings is explored. The proposed approach is evaluated on a multi-label generalized zero-shot learning task, focusing on the recognition of surgical instruments in endoscopic images from minimally invasive cholecystectomies. Results The results demonstrate that combining sentence embeddings and z-score normalization significantly improves model performance. For unseen classes, the AUROC improves from 43.9% to 64.9%, and the multi-label accuracy from 26.1% to 79.5%. Overall performance measured across both seen and unseen classes improves from 49.3% to 64.9% in AUROC and from 37.3% to 65.1% in multi-label accuracy, highlighting the effectiveness of our approach. Conclusion These findings demonstrate that sentence embeddings and z-score normalization can substantially enhance the generalization performance of zero-shot learning models. However, as the study is based on a single dataset, future work should validate the method across diverse datasets and application domains to establish its robustness and broader applicability. KW - Generalized zero-shot learning KW - Sentence embeddings KW - Z-score normalization KW - Multi-label classification KW - Surgical instruments Y1 - 2025 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:898-opus4-85674 N1 - Corresponding author der OTH Regensburg: Raphaela Maerkl VL - 20 SP - 1577 EP - 1587 PB - Springer Nature ER - TY - INPR A1 - Rückert, Tobias A1 - Rauber, David A1 - Maerkl, Raphaela A1 - Klausmann, Leonard A1 - Yildiran, Suemeyye R. A1 - Gutbrod, Max A1 - Nunes, Danilo Weber A1 - Moreno, Alvaro Fernandez A1 - Luengo, Imanol A1 - Stoyanov, Danail A1 - Toussaint, Nicolas A1 - Cho, Enki A1 - Kim, Hyeon Bae A1 - Choo, Oh Sung A1 - Kim, Ka Young A1 - Kim, Seong Tae A1 - Arantes, Gonçalo A1 - Song, Kehan A1 - Zhu, Jianjun A1 - Xiong, Junchen A1 - Lin, Tingyi A1 - Kikuchi, Shunsuke A1 - Matsuzaki, Hiroki A1 - Kouno, Atsushi A1 - Manesco, João Renato Ribeiro A1 - Papa, João Paulo A1 - Choi, Tae-Min A1 - Jeong, Tae Kyeong A1 - Park, Juyoun A1 - Alabi, Oluwatosin A1 - Wei, Meng A1 - Vercauteren, Tom A1 - Wu, Runzhi A1 - Xu, Mengya A1 - an Wang, A1 - Bai, Long A1 - Ren, Hongliang A1 - Yamlahi, Amine A1 - Hennighausen, Jakob A1 - Maier-Hein, Lena A1 - Kondo, Satoshi A1 - Kasai, Satoshi A1 - Hirasawa, Kousuke A1 - Yang, Shu A1 - Wang, Yihui A1 - Chen, Hao A1 - Rodríguez, Santiago A1 - Aparicio, Nicolás A1 - Manrique, Leonardo A1 - Lyons, Juan Camilo A1 - Hosie, Olivia A1 - Ayobi, Nicolás A1 - Arbeláez, Pablo A1 - Li, Yiping A1 - Khalil, Yasmina Al A1 - Nasirihaghighi, Sahar A1 - Speidel, Stefanie A1 - Rückert, Daniel A1 - Feussner, Hubertus A1 - Wilhelm, Dirk A1 - Palm, Christoph T1 - Comparative validation of surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation in endoscopy: Results of the PhaKIR 2024 challenge N2 - Reliable recognition and localization of surgical instruments in endoscopic video recordings are foundational for a wide range of applications in computer- and robot-assisted minimally invasive surgery (RAMIS), including surgical training, skill assessment, and autonomous assistance. However, robust performance under real-world conditions remains a significant challenge. Incorporating surgical context - such as the current procedural phase - has emerged as a promising strategy to improve robustness and interpretability. To address these challenges, we organized the Surgical Procedure Phase, Keypoint, and Instrument Recognition (PhaKIR) sub-challenge as part of the Endoscopic Vision (EndoVis) challenge at MICCAI 2024. We introduced a novel, multi-center dataset comprising thirteen full-length laparoscopic cholecystectomy videos collected from three distinct medical institutions, with unified annotations for three interrelated tasks: surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation. Unlike existing datasets, ours enables joint investigation of instrument localization and procedural context within the same data while supporting the integration of temporal information across entire procedures. We report results and findings in accordance with the BIAS guidelines for biomedical image analysis challenges. The PhaKIR sub-challenge advances the field by providing a unique benchmark for developing temporally aware, context-driven methods in RAMIS and offers a high-quality resource to support future research in surgical scene understanding. Y1 - 2025 N1 - Der Aufsatz wurde peer-reviewed veröffentlicht und ist ebenfalls in diesem Repositorium verzeichnet unter: https://opus4.kobv.de/opus4-oth-regensburg/frontdoor/index/index/start/0/rows/10/sortfield/score/sortorder/desc/searchtype/simple/query/10.1016%2Fj.media.2026.103945/docId/8846 ER - TY - GEN A1 - Zellmer, Stephan A1 - Rauber, David A1 - Probst, Andreas A1 - Weber, Tobias A1 - Nagl, Sandra A1 - Römmele, Christoph A1 - Schnoy, Elisabeth A1 - Palm, Christoph A1 - Messmann, Helmut A1 - Ebigbo, Alanna T1 - Verwendung künstlicher Intelligenz bei der Detektion der Papilla duodeni major T2 - Zeitschrift für Gastroenterologie N2 - Einleitung Die Endoskopische Retrograde Cholangiopankreatikographie (ERCP) ist der Goldstandard in der Diagnostik und Therapie von Erkrankungen des pankreatobiliären Trakts. Jedoch ist sie technisch sehr anspruchsvoll und weist eine vergleichsweise hohe Komplikationsrate auf. Ziele  In der vorliegenden Machbarkeitsstudie soll geprüft werden, ob mithilfe eines Deep-learning-Algorithmus die Papille und das Ostium zuverlässig detektiert werden können und somit für Endoskopiker mit geringer Erfahrung ein geeignetes Hilfsmittel, insbesondere für die Ausbildungssituation, darstellen könnten. Methodik Wir betrachteten insgesamt 606 Bilddatensätze von 65 Patienten. In diesen wurde sowohl die Papilla duodeni major als auch das Ostium segmentiert. Anschließend wurde eine neuronales Netz mittels eines Deep-learning-Algorithmus trainiert. Außerdem erfolgte eine 5-fache Kreuzvaldierung. Ergebnisse Bei einer 5-fachen Kreuzvaldierung auf den 606 gelabelten Daten konnte für die Klasse Papille eine F1-Wert von 0,7908, eine Sensitivität von 0,7943 und eine Spezifität von 0,9785 erreicht werden, für die Klasse Ostium eine F1-Wert von 0,5538, eine Sensitivität von 0,5094 und eine Spezifität von 0,9970 (vgl. [Tab. 1]). Unabhängig von der Klasse zeigte sich gemittelt (Klasse Papille und Klasse Ostium) ein F1-Wert von 0,6673, eine Sensitivität von 0,6519 und eine Spezifität von 0,9877 (vgl. [Tab. 2]). Schlussfolgerung  In vorliegende Machbarkeitsstudie konnte das neuronale Netz die Papilla duodeni major mit einer hohen Sensitivität und sehr hohen Spezifität identifizieren. Bei der Detektion des Ostiums war die Sensitivität deutlich geringer. Zukünftig soll das das neuronale Netz mit mehr Daten trainiert werden. Außerdem ist geplant, den Algorithmus auch auf Videos anzuwenden. Somit könnte langfristig ein geeignetes Hilfsmittel für die ERCP etabliert werden. KW - Künstliche Intelligenz Y1 - 2023 UR - https://www.thieme-connect.de/products/ejournals/abstract/10.1055/s-0043-1772000 U6 - https://doi.org/10.1055/s-0043-1772000 VL - 61 IS - 08 SP - e539 EP - e540 PB - Thieme CY - Stuttgart ER - TY - JOUR A1 - Rueckert, Tobias A1 - Rauber, David A1 - Maerkl, Raphaela A1 - Klausmann, Leonard A1 - Yildiran, Suemeyye R. A1 - Gutbrod, Max A1 - Nunes, Danilo Weber A1 - Moreno, Alvaro Fernandez A1 - Luengo, Imanol A1 - Stoyanov, Danail A1 - Toussaint, Nicolas A1 - Cho, Enki A1 - Kim, Hyeon Bae A1 - Choo, Oh Sung A1 - Kim, Ka Young A1 - Kim, Seong Tae A1 - Arantes, Gonçalo A1 - Song, Kehan A1 - Zhu, Jianjun A1 - Xiong, Junchen A1 - Lin, Tingyi A1 - Kikuchi, Shunsuke A1 - Matsuzaki, Hiroki A1 - Kouno, Atsushi A1 - Manesco, João Renato Ribeiro A1 - Papa, João Paulo A1 - Choi, Tae-Min A1 - Jeong, Tae Kyeong A1 - Park, Juyoun A1 - Alabi, Oluwatosin A1 - Wei, Meng A1 - Vercauteren, Tom A1 - Wu, Runzhi A1 - Xu, Mengya A1 - Wang, An A1 - Bai, Long A1 - Ren, Hongliang A1 - Yamlahi, Amine A1 - Hennighausen, Jakob A1 - Maier-Hein, Lena A1 - Kondo, Satoshi A1 - Kasai, Satoshi A1 - Hirasawa, Kousuke A1 - Yang, Shu A1 - Wang, Yihui A1 - Chen, Hao A1 - Rodríguez, Santiago A1 - Aparicio, Nicolás A1 - Manrique, Leonardo A1 - Palm, Christoph A1 - Wilhelm, Dirk A1 - Feussner, Hubertus A1 - Rueckert, Daniel A1 - Speidel, Stefanie A1 - Nasirihaghighi, Sahar A1 - Al Khalil, Yasmina A1 - Li, Yiping A1 - Arbeláez, Pablo A1 - Ayobi, Nicolás A1 - Hosie, Olivia A1 - Lyons, Juan Camilo T1 - Comparative validation of surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation in endoscopy: Results of the PhaKIR 2024 challenge JF - Medical Image Analysis N2 - Reliable recognition and localization of surgical instruments in endoscopic video recordings are foundational for a wide range of applications in computer- and robot-assisted minimally invasive surgery (RAMIS), including surgical training, skill assessment, and autonomous assistance. However, robust performance under real-world conditions remains a significant challenge. Incorporating surgical context – such as the current procedural phase – has emerged as a promising strategy to improve robustness and interpretability. To address these challenges, we organized the Surgical Procedure Phase, Keypoint, and Instrument Recognition (PhaKIR) sub-challenge as part of the Endoscopic Vision (EndoVis) challenge at MICCAI 2024. We introduced a novel, multi-center dataset comprising thirteen full-length laparoscopic cholecystectomy videos collected from three distinct medical institutions, with unified annotations for three interrelated tasks: surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation. Unlike existing datasets, ours enables joint investigation of instrument localization and procedural context within the same data while supporting the integration of temporal information across entire procedures. We report results and findings in accordance with the BIAS guidelines for biomedical image analysis challenges. The PhaKIR sub-challenge advances the field by providing a unique benchmark for developing temporally aware, context-driven methods in RAMIS and offers a high-quality resource to support future research in surgical scene understanding. KW - Surgical phase recognition KW - Instrument keypoint estimation KW - Instrument instance segmentation KW - Robot-assisted surgery Y1 - 2026 U6 - https://doi.org/10.1016/j.media.2026.103945 SN - 1361-8415 N1 - Corresponding author der OTH Regensburg: Tobias Rueckert Die Preprint-Version ist ebenfalls in diesem Repositorium verzeichnet unter: https://opus4.kobv.de/opus4-oth-regensburg/solrsearch/index/search/start/0/rows/10/sortfield/score/sortorder/desc/searchtype/simple/query/2507.16559 VL - 109 PB - Elsevier ER -