@article{MaierWeihererHuberetal., author = {Maier, Johannes and Weiherer, Maximilian and Huber, Michaela and Palm, Christoph}, title = {Optically tracked and 3D printed haptic phantom hand for surgical training system}, series = {Quantitative Imaging in Medicine and Surgery}, volume = {10}, journal = {Quantitative Imaging in Medicine and Surgery}, number = {02}, publisher = {AME Publishing Company}, address = {Hong Kong, China}, doi = {10.21037/qims.2019.12.03}, pages = {340 -- 455}, abstract = {Background: For surgical fixation of bone fractures of the human hand, so-called Kirschner-wires (K-wires) are drilled through bone fragments. Due to the minimally invasive drilling procedures without a view of risk structures like vessels and nerves, a thorough training of young surgeons is necessary. For the development of a virtual reality (VR) based training system, a three-dimensional (3D) printed phantom hand is required. To ensure an intuitive operation, this phantom hand has to be realistic in both, its position relative to the driller as well as in its haptic features. The softest 3D printing material available on the market, however, is too hard to imitate human soft tissue. Therefore, a support-material (SUP) filled metamaterial is used to soften the raw material. Realistic haptic features are important to palpate protrusions of the bone to determine the drilling starting point and angle. An optical real-time tracking is used to transfer position and rotation to the training system. Methods: A metamaterial already developed in previous work is further improved by use of a new unit cell. Thus, the amount of SUP within the volume can be increased and the tissue is softened further. In addition, the human anatomy is transferred to the entire hand model. A subcutaneous fat layer and penetration of air through pores into the volume simulate shiftability of skin layers. For optical tracking, a rotationally symmetrical marker attached to the phantom hand with corresponding reference marker is developed. In order to ensure trouble-free position transmission, various types of marker point applications are tested. Results: Several cuboid and forearm sample prints lead to a final 30 centimeter long hand model. The whole haptic phantom could be printed faultless within about 17 hours. The metamaterial consisting of the new unit cell results in an increased SUP share of 4.32\%. Validated by an expert surgeon study, this allows in combination with a displacement of the uppermost skin layer a good palpability of the bones. Tracking of the hand marker in dodecahedron design works trouble-free in conjunction with a reference marker attached to the worktop of the training system. Conclusions: In this work, an optically tracked and haptically correct phantom hand was developed using dual-material 3D printing, which can be easily integrated into a surgical training system.}, subject = {Handchirurgie}, language = {en} } @article{NoisserEigenbergerWeihereretal., author = {Noisser, Vivien and Eigenberger, Andreas and Weiherer, Maximilian and Seitz, Stephan and Prantl, Lukas and Br{\´e}bant, Vanessa}, title = {Surgery of congenital breast asymmetry - which objective parameter influences the subjective satisfaction with long-term results}, series = {Archives of Gynecology and Obstetrics}, journal = {Archives of Gynecology and Obstetrics}, publisher = {Springer Nature}, doi = {10.1007/s00404-021-06218-0}, pages = {8}, abstract = {Purpose Congenital breast asymmetry is a serious gynecological malformation for affected patients. The condition hits young women in puberty and is associated with socio-esthetic handicap, depression, and psychosexual problems. Surgical treatment is usually early in the patient's lifetime, so a long-term sustainable solution is important. Although postoperative outcome has been evaluated in several studies before, this study is the first to analyze which objective parameters have the greatest influence on subjective satisfaction with long-term results. Methods Thirty-four patients diagnosed with congenital breast asymmetry that underwent either lipofilling or implant therapy between the years of 2008 to 2019 were examined. On average, our collective comprised patients seven years after surgery. Data were mainly gathered through manual measurements, patient-reported outcome measures (Breast Q™), and breast volumetry based on 3D scans (Vectra® H2, Canfield Scientific). Results Among all analyzed parameters, only areolar diameter correlated significantly negatively with the subjective outcome satisfaction of the patient. Regarding the subjective assessment of postoperative satisfaction with similarity of the breasts, again the mean areolar diameter, but also the difference in areolar diameter and breast volume between the right and left breasts correlated significantly negatively. Conclusion Areolar diameter was revealed as being a significant factor influencing subjective long-term satisfaction in breast asymmetry patients. Moreover, 3D volumetry proves to be an effective tool to substantiate subjective patient assessments. Our findings may lead to further improvements to surgical planning and will be expanded in further studies.}, language = {en} } @inproceedings{FranzDreherPrinzenetal., author = {Franz, Daniela and Dreher, Maria and Prinzen, Martin and Teßmann, Matthias and Palm, Christoph and Katzky, Uwe and Perret, Jerome and Hofer, Mathias and Wittenberg, Thomas}, title = {CT-basiertes virtuelles Fr{\"a}sen am Felsenbein}, series = {Bildverarbeitung f{\"u}r die Medizin 2018; Algorithmen - Systeme - Anwendungen. Proceedings des Workshops vom 11. bis 13. M{\"a}rz 2018 in Erlangen}, booktitle = {Bildverarbeitung f{\"u}r die Medizin 2018; Algorithmen - Systeme - Anwendungen. Proceedings des Workshops vom 11. bis 13. M{\"a}rz 2018 in Erlangen}, publisher = {Springer}, address = {Berlin}, isbn = {978-3-662-56537-7}, doi = {10.1007/978-3-662-56537-7_51}, pages = {176 -- 181}, abstract = {Im Rahmen der Entwicklung eines haptisch-visuellen Trainingssystems f{\"u}r das Fr{\"a}sen am Felsenbein werden ein Haptikarm und ein autostereoskopischer 3D-Monitor genutzt, um Chirurgen die virtuelle Manipulation von kn{\"o}chernen Strukturen im Kontext eines sog. Serious Game zu erm{\"o}glichen. Unter anderem sollen Assistenz{\"a}rzte im Rahmen ihrer Ausbildung das Fr{\"a}sen am Felsenbein f{\"u}r das chirurgische Einsetzen eines Cochlea-Implantats {\"u}ben k{\"o}nnen. Die Visualisierung des virtuellen Fr{\"a}sens muss daf{\"u}r in Echtzeit und m{\"o}glichst realistisch modelliert, implementiert und evaluiert werden. Wir verwenden verschiedene Raycasting Methoden mit linearer und Nearest Neighbor Interpolation und vergleichen die visuelle Qualit{\"a}t und die Bildwiederholfrequenzen der Methoden. Alle verglichenen Verfahren sind sind echtzeitf{\"a}hig, unterscheiden sich aber in ihrer visuellen Qualit{\"a}t.}, subject = {Felsenbein}, language = {de} } @inproceedings{MaierHuberKatzkyetal., author = {Maier, Johannes and Huber, Michaela and Katzky, Uwe and Perret, Jerome and Wittenberg, Thomas and Palm, Christoph}, title = {Force-Feedback-assisted Bone Drilling Simulation Based on CT Data}, series = {Bildverarbeitung f{\"u}r die Medizin 2018; Algorithmen - Systeme - Anwendungen; Proceedings des Workshops vom 11. bis 13. M{\"a}rz 2018 in Erlangen}, booktitle = {Bildverarbeitung f{\"u}r die Medizin 2018; Algorithmen - Systeme - Anwendungen; Proceedings des Workshops vom 11. bis 13. M{\"a}rz 2018 in Erlangen}, publisher = {Springer}, address = {Berlin}, doi = {10.1007/978-3-662-56537-7_78}, pages = {291 -- 296}, abstract = {In order to fix a fracture using minimally invasive surgery approaches, surgeons are drilling complex and tiny bones with a 2 dimensional X-ray as single imaging modality in the operating room. Our novel haptic force-feedback and visual assisted training system will potentially help hand surgeons to learn the drilling procedure in a realistic visual environment. Within the simulation, the collision detection as well as the interaction between virtual drill, bone voxels and surfaces are important. In this work, the chai3d collision detection and force calculation algorithms are combined with a physics engine to simulate the bone drilling process. The chosen Bullet-Physics-Engine provides a stable simulation of rigid bodies, if the collision model of the drill and the tool holder is generated as a compound shape. Three haptic points are added to the K-wire tip for removing single voxels from the bone. For the drilling process three modes are proposed to emulate the different phases of drilling in restricting the movement of a haptic device.}, subject = {Handchirurgie}, language = {en} } @inproceedings{EixelbergerWittenbergPerretetal., author = {Eixelberger, Thomas and Wittenberg, Thomas and Perret, Jerome and Katzky, Uwe and Simon, Martina and Schmitt-R{\"u}th, Stephanie and Hofer, Mathias and Sorge, M. and Jacob, R. and Engel, Felix B. and Gostian, A. and Palm, Christoph and Franz, Daniela}, title = {A haptic model for virtual petrosal bone milling}, series = {17. Jahrestagung der Deutschen Gesellschaft f{\"u}r Computer- und Roboterassistierte Chirurgie (CURAC2018), Tagungsband, 2018, Leipzig, 13.-15. September}, volume = {17}, booktitle = {17. Jahrestagung der Deutschen Gesellschaft f{\"u}r Computer- und Roboterassistierte Chirurgie (CURAC2018), Tagungsband, 2018, Leipzig, 13.-15. September}, pages = {214 -- 219}, abstract = {Virtual training of bone milling requires realtime and realistic haptics of the interaction between the "virtual mill" and a "virtual bone". We propose an exponential abrasion model between a virtual one and the mill bit and combine it with a coarse representation of the virtual bone and the mill shaft for collision detection using the Bullet Physics Engine. We compare our exponential abrasion model to a widely used linear abrasion model and evaluate it quantitatively and qualitatively. The evaluation results show, that we can provide virtual milling in real-time, with an abrasion behavior similar to that proposed in the literature and with a realistic feeling of five different surgeons.}, subject = {Osteosynthese}, language = {en} } @inproceedings{PalmSchanze, author = {Palm, Christoph and Schanze, Thomas}, title = {Biomedical Image and Signal Computing (BISC 2013)}, series = {58. Jahrestagung der Deutschen Gesellschaft f{\"u}r Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS 2013), L{\"u}beck, 01.-05.09.2013}, booktitle = {58. Jahrestagung der Deutschen Gesellschaft f{\"u}r Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS 2013), L{\"u}beck, 01.-05.09.2013}, number = {DocAbstr. 324}, publisher = {German Medical Science GMS Publishing House}, address = {D{\"u}sseldorf}, doi = {doi:10.3205/13gmds257}, language = {en} } @article{EbigboMendelProbstetal., author = {Ebigbo, Alanna and Mendel, Robert and Probst, Andreas and Manzeneder, Johannes and Souza Jr., Luis Antonio de and Papa, Jo{\~a}o Paulo and Palm, Christoph and Messmann, Helmut}, title = {Computer-aided diagnosis using deep learning in the evaluation of early oesophageal adenocarcinoma}, series = {GuT}, volume = {68}, journal = {GuT}, number = {7}, publisher = {British Society of Gastroenterology}, doi = {10.1136/gutjnl-2018-317573}, url = {http://nbn-resolving.de/urn:nbn:de:bvb:898-opus4-68}, pages = {1143 -- 1145}, abstract = {Computer-aided diagnosis using deep learning (CAD-DL) may be an instrument to improve endoscopic assessment of Barrett's oesophagus (BE) and early oesophageal adenocarcinoma (EAC). Based on still images from two databases, the diagnosis of EAC by CAD-DL reached sensitivities/specificities of 97\%/88\% (Augsburg data) and 92\%/100\% (Medical Image Computing and Computer-Assisted Intervention [MICCAI] data) for white light (WL) images and 94\%/80\% for narrow band images (NBI) (Augsburg data), respectively. Tumour margins delineated by experts into images were detected satisfactorily with a Dice coefficient (D) of 0.72. This could be a first step towards CAD-DL for BE assessment. If developed further, it could become a useful adjunctive tool for patient management.}, subject = {Speiser{\"o}hrenkrebs}, language = {en} } @phdthesis{Maier, author = {Maier, Johannes}, title = {Entwicklung eines Haptisch und Visuell unterst{\"u}tzten Trainingssystems (HaptiVisT) f{\"u}r komplexe Knochenbohrungen in der minimalinvasiven Handchirurgie}, publisher = {Shaker}, address = {D{\"u}ren}, isbn = {978-3-8440-7547-2}, pages = {236}, abstract = {Eine g{\"a}ngige Operationsmethode, um Frakturen der menschlichen Hand nach einem Unfall zu korrigieren, ist eine Osteosynthese mit sogenannten Kirschnerdr{\"a}hten (K-Dr{\"a}hten) zur Stabilisierung von Knochenfragmenten. Die Einf{\"u}hrung dieser langen, d{\"u}nnen und scharfen Dr{\"a}hte durch manuelles Bohren ist eine komplexe minimalinvasive Operation, bei der ein Chirurg nahezu ohne visuelle Orientierung und nur durch eine kleine {\"O}ffnung der Haut des Patienten arbeitet. Als Orientierungshilfe f{\"u}r die optimale Lage der K-Dr{\"a}hte bleibt dem Chirurgen lediglich eine zweidimensionale (2D)-R{\"o}ntgendarstellung und das Ertasten von kn{\"o}chernen Vorspr{\"u}ngen auf der menschlichen Hand, um Verletzungen an Risikostrukturen (Nerven, Gef{\"a}ße usw.), die im Weichteilgewebe der Hand eingebettet sind, zu vermeiden. F{\"u}r eine sichere und fehlerfreie Durchf{\"u}hrung einer K-Draht-Osteosynthese ist deswegen eine gr{\"u}ndliche theoretische und praktische Ausbildung junger Chirurgen notwendig. Da traditionelle Trainingsmethoden zeitaufwendig, kostspielig, ethisch nicht korrekt und unzureichend realistisch sind, wird in dieser Arbeit ein innovativer, auf virtueller Realit{\"a}t (VR) basierender, Haptisch und Visuell unterst{\"u}tzter Trainingssimulator (HaptiVisT) f{\"u}r die Platzierung von K-Dr{\"a}hten entwickelt, der vor allem Handchirurgen mit {\"U}bungs- und Perfektionierungsbedarf dabei unterst{\"u}tzt, das Bohrverfahren in einer realistischen aber virtuellen Umgebung zu erlernen. Beim HaptiVisT-Prototypenaufbau werden reale Patientendaten segmentierter Volumendaten aus einer Computertomographie (CT) und einer Magnetresonanztomographie (MRT) im virtuellen, dreidimensionalen (3D) Raum auf einem 3D-Monitor visualisiert und f{\"u}r eine intuitive bimanuelle Haptik sowohl mit einem Kraftfeedback-Ger{\"a}t f{\"u}r den Bohrprozess und einer 3D-gedruckten und optisch getrackten Phantomhand kombiniert. Die vorliegende Arbeit beschreibt zun{\"a}chst alle verwendeten Hardwareger{\"a}te, die C++-Softwareumgebung, aufgebaut auf Multithreading (gleichzeitige Ausf{\"u}hrung mehrerer Anweisungsfolgen in einem Prozess), und die auf Oberfl{\"a}chen- und Volumenrendering basierte Visualisierung. Die Kollisionsdetektion zwischen Bohrer und Knochen im virtuellen Raum wird in zwei separate Ereignisse unterteilt: Kollisionen zwischen Objekten als Gesamtes (Simulation der Kollision {\"u}ber die gesamte Objektoberfl{\"a}che) und Kollisionen zwischen einer K-Draht-Spitze und dem Knochenvolumen f{\"u}r die Entfernung kleiner Volumenelemente (Voxel). Das Herzst{\"u}ck des Trainingssystems bildet eine echtzeitf{\"a}hige Bohrsimulation, die den gesamten Bohrprozess in eine endliche Anzahl logischer Unterprozesse gliedert und diese Zust{\"a}nde in einen endlichen Zustandsautomaten (FSM, engl.: Finite State Machine) zusammenfasst. Das Kraftfeedback w{\"a}hrend einer Bohrung wird mit sogenannten „Virtual Fixtures" (abstrakten sensorischen Informationen) berechnet und {\"u}ber einen Haptikarm auf den Benutzer {\"u}bertragen. Damit die Simulation der Realit{\"a}t entspricht, wird unter Zuhilfenahme eines experimentellen Aufbaus die reale Bohrgeschwindigkeit durch kortikale Knochen ermittelt. Anschließend werden ein Levelkonzept und alle im System verf{\"u}gbaren Bohrunterst{\"u}tzungswerkzeuge, wie haptische Korridore als Goldstandard oder eine R{\"o}ntgenbildsimulation, vorgestellt. Mit ihnen ist es m{\"o}glich, ausgesuchte Operationsf{\"a}lle in Level unterschiedlicher Schwierigkeit zu unterteilen und den Operationsvorgang qualitativ zu bewerten. Der 3D-Druck einer Phantomhand (realit{\"a}tsnahe Nachbildung einer Patientenhand) mit realistischen haptischen Eigenschaften zum Ertasten von Knochenvorspr{\"u}ngen wird {\"u}ber einen metamaterialbasierten Ansatz (Neuanordnung des Grundmaterials durch eine k{\"u}nstlich angelegte, sich wiederholende Struktur) realisiert, da das aktuell am Markt verf{\"u}gbare 3D-Druckmaterial f{\"u}r den Druck menschlichen Weichteilgewebes zu hart ist. Die Echtzeitverfolgung der Phantomhand beruht auf einem mit einer Stereokamera optisch getrackten Marker in Form eines Dodekaeders (K{\"o}rper mit zw{\"o}lf Fl{\"a}chen). Abschließend wird das HaptiVisT-Gesamtsystem in drei und der 3D-Druck einer Phantomhand in zwei Expertenevaluationen ausf{\"u}hrlich untersucht und ausgewertet. Das HaptiVisT-System versteht sich als notwendiges Komplement f{\"u}r den ersten und weltweit einzigen funktionsf{\"a}higen, kompakten Prototypen f{\"u}r virtuelle K-DrahtOsteosynthesen mit haptischen Kraftfeedback, der in Zukunft Chirurgen in Aus- und Weiterbildung an Kliniken oder Trainingszentren ein risikofreies, zeit- und ortsunabh{\"a}ngiges Training erm{\"o}glicht. Die Kernelemente dieser Arbeit sind: • Stereoskopische 3D-Darstellung von realen Patientendaten. • Bimanuelle Haptik aus haptischen Kraftfeedback des Bohrens verbunden mit einer optisch getrackten, haptisch korrekten und 3D-gedruckten Phantomhand. • Zuverl{\"a}ssige Kollisionsdetektion zwischen virtuellen Objekten als Grundlage f{\"u}r das Kraftfeedback und die Abtragung von Knochen. • Echtzeitf{\"a}hige Bohrsimulation durch Reduzierung des Bohrprozesses auf logische Bohr-Teilprozesse kombiniert mit einer Virtual Fixtures basierten Kraftberechnung. Haptisch korrekte Phantome sind vor allem im medizinischen Training von hoher Relevanz und die Berechnung des Kraftfeedbacks beruht erstmals auf der performanten und stabilen Simulation von Bohr-Teilprozessen unter Verwendung von Virtual Fixtures. Der Prototyp wird von Experten durchgehend positiv bewertet und bietet nach deren Einsch{\"a}tzung einen hohen Mehrwert f{\"u}r das chirurgische Training. Zuk{\"u}nftige Arbeiten k{\"o}nnten den Lerneffekt durch das HaptiVisT-Trainingssystem in stichhaltigen Evaluationen mit jungen Medizinstudenten unter Vorhandensein einer Kontrollgruppe statistisch validieren. Bei Best{\"a}tigung dieses Lerneffekts ist eine Ausgr{\"u}ndung als eigenst{\"a}ndiges Unternehmen und Weiterentwicklung des Prototyps mit Ausweitung auf weitere chirurgische Bereiche wie Knie- oder H{\"u}ftchirurgie denkbar. Unter Zuhilfenahme von automatischer Segmentierung k{\"o}nnten in Zukunft akut zu behandelnde Br{\"u}che abgebildet, vorab einer tats{\"a}chlichen Operation ge{\"u}bt und anschließend komplikationslos unter reduzierter Operationszeit durchgef{\"u}hrt werden.}, language = {de} } @article{WoehlMaierGehmertetal., author = {W{\"o}hl, Rebecca and Maier, Johannes and Gehmert, Sebastian and Palm, Christoph and Riebschl{\"a}ger, Birgit and Nerlich, Michael and Huber, Michaela}, title = {3D Analysis of Osteosyntheses Material using semi-automated CT Segmentation}, series = {BMC Musculoskeletal Disorders}, volume = {19}, journal = {BMC Musculoskeletal Disorders}, publisher = {Springer Nature}, doi = {10.1186/s12891-018-1975-0}, pages = {1 -- 8}, abstract = {Backround Scaphoidectomy and midcarpal fusion can be performed using traditional fixation methods like K-wires, staples, screws or different dorsal (non)locking arthrodesis systems. The aim of this study is to test the Aptus four corner locking plate and to compare the clinical findings to the data revealed by CT scans and semi-automated segmentation. Methods: This is a retrospective review of eleven patients suffering from scapholunate advanced collapse (SLAC) or scaphoid non-union advanced collapse (SNAC) wrist, who received a four corner fusion between August 2011 and July 2014. The clinical evaluation consisted of measuring the range of motion (ROM), strength and pain on a visual analogue scale (VAS). Additionally, the Disabilities of the Arm, Shoulder and Hand (QuickDASH) and the Mayo Wrist Score were assessed. A computerized tomography (CT) of the wrist was obtained six weeks postoperatively. After semi-automated segmentation of the CT scans, the models were post processed and surveyed. Results During the six-month follow-up mean range of motion (ROM) of the operated wrist was 60°, consisting of 30° extension and 30° flexion. While pain levels decreased significantly, 54\% of grip strength and 89\% of pinch strength were preserved compared to the contralateral healthy wrist. Union could be detected in all CT scans of the wrist. While X-ray pictures obtained postoperatively revealed no pathology, two user related technical complications were found through the 3D analysis, which correlated to the clinical outcome. Conclusion Due to semi-automated segmentation and 3D analysis it has been proved that the plate design can keep up to the manufacturers' promises. Over all, this case series confirmed that the plate can compete with the coexisting techniques concerning clinical outcome, union and complication rate.}, subject = {Handchirurgie}, language = {en} } @misc{ScheppachMendelProbstetal., author = {Scheppach, Markus W. and Mendel, Robert and Probst, Andreas and Rauber, David and R{\"u}ckert, Tobias and Meinikheim, Michael and Palm, Christoph and Messmann, Helmut and Ebigbo, Alanna}, title = {Real-time detection and delineation of tissue during third-space endoscopy using artificial intelligence (AI)}, series = {Endoscopy}, volume = {55}, journal = {Endoscopy}, number = {S02}, publisher = {Thieme}, doi = {10.1055/s-0043-1765128}, pages = {S53 -- S54}, abstract = {Aims AI has proven great potential in assisting endoscopists in diagnostics, however its role in therapeutic endoscopy remains unclear. Endoscopic submucosal dissection (ESD) is a technically demanding intervention with a slow learning curve and relevant risks like bleeding and perforation. Therefore, we aimed to develop an algorithm for the real-time detection and delineation of relevant structures during third-space endoscopy. Methods 5470 still images from 59 full length videos (47 ESD, 12 POEM) were annotated. 179681 additional unlabeled images were added to the training dataset. Consequently, a DeepLabv3+ neural network architecture was trained with the ECMT semi-supervised algorithm (under review elsewhere). Evaluation of vessel detection was performed on a dataset of 101 standardized video clips from 15 separate third-space endoscopy videos with 200 predefined blood vessels. Results Internal validation yielded an overall mean Dice score of 85\% (68\% for blood vessels, 86\% for submucosal layer, 88\% for muscle layer). On the video test data, the overall vessel detection rate (VDR) was 94\% (96\% for ESD, 74\% for POEM). The median overall vessel detection time (VDT) was 0.32 sec (0.3 sec for ESD, 0.62 sec for POEM). Conclusions Evaluation of the developed algorithm on a video test dataset showed high VDR and quick VDT, especially for ESD. Further research will focus on a possible clinical benefit of the AI application for VDR and VDT during third-space endoscopy.}, subject = {Speiser{\"o}hrenkrankheit}, language = {en} } @inproceedings{FranzKatzkyNeumannetal., author = {Franz, Daniela and Katzky, Uwe and Neumann, Sabine and Perret, Jerome and Hofer, Mathias and Huber, Michaela and Schmitt-R{\"u}th, Stephanie and Haug, Sonja and Weber, Karsten and Prinzen, Martin and Palm, Christoph and Wittenberg, Thomas}, title = {Haptisches Lernen f{\"u}r Cochlea Implantationen}, series = {15. Jahrestagung der Deutschen Gesellschaft f{\"u}r Computer- und Roboterassistierte Chirurgie (CURAC2016), Tagungsband, 2016, Bern, 29.09. - 01.10.}, booktitle = {15. Jahrestagung der Deutschen Gesellschaft f{\"u}r Computer- und Roboterassistierte Chirurgie (CURAC2016), Tagungsband, 2016, Bern, 29.09. - 01.10.}, pages = {21 -- 26}, abstract = {Die Implantation eines Cochlea Implantates ben{\"o}tigt einen chirurgischen Zugang im Felsenbein und durch die Paukenh{\"o}hle des Patienten. Der Chirurg hat eine eingeschr{\"a}nkte Sicht im Operationsgebiet, die weiterhin viele Risikostrukturen enth{\"a}lt. Um eine Cochlea Implantation sicher und fehlerfrei durchzuf{\"u}hren, ist eine umfangreiche theoretische und praktische (teilweise berufsbegleitende) Fortbildung sowie langj{\"a}hrige Erfahrung notwendig. Unter Nutzung von realen klinischen CT/MRT Daten von Innen- und Mittelohr und der interaktiven Segmentierung der darin abgebildeten Strukturen (Nerven, Cochlea, Geh{\"o}rkn{\"o}chelchen,...) wird im HaptiVisT Projekt ein haptisch-visuelles Trainingssystem f{\"u}r die Implantation von Innen- und Mittelohr-Implantaten realisiert, das als sog. „Serious Game" mit immersiver Didaktik gestaltet wird. Die Evaluierung des Demonstrators hinsichtlich Zweckm{\"a}ßigkeit erfolgt prozessbegleitend und ergebnisorientiert, um m{\"o}gliche technische oder didaktische Fehler vor Fertigstellung des Systems aufzudecken. Drei zeitlich versetzte Evaluationen fokussieren dabei chirurgisch-fachliche, didaktische sowie haptisch-ergonomische Akzeptanzkriterien.}, subject = {Cochlea-Implantat}, language = {de} } @inproceedings{SouzaJrHookPapaetal., author = {Souza Jr., Luis Antonio de and Hook, Christian and Papa, Jo{\~a}o Paulo and Palm, Christoph}, title = {Barrett's Esophagus Analysis Using SURF Features}, series = {Bildverarbeitung f{\"u}r die Medizin 2017; Algorithmen - Systeme - Anwendungen. Proceedings des Workshops vom 12. bis 14. M{\"a}rz 2017 in Heidelberg}, booktitle = {Bildverarbeitung f{\"u}r die Medizin 2017; Algorithmen - Systeme - Anwendungen. Proceedings des Workshops vom 12. bis 14. M{\"a}rz 2017 in Heidelberg}, publisher = {Springer}, address = {Berlin}, doi = {10.1007/978-3-662-54345-0_34}, pages = {141 -- 146}, abstract = {The development of adenocarcinoma in Barrett's esophagus is difficult to detect by endoscopic surveillance of patients with signs of dysplasia. Computer assisted diagnosis of endoscopic images (CAD) could therefore be most helpful in the demarcation and classification of neoplastic lesions. In this study we tested the feasibility of a CAD method based on Speeded up Robust Feature Detection (SURF). A given database containing 100 images from 39 patients served as benchmark for feature based classification models. Half of the images had previously been diagnosed by five clinical experts as being "cancerous", the other half as "non-cancerous". Cancerous image regions had been visibly delineated (masked) by the clinicians. SURF features acquired from full images as well as from masked areas were utilized for the supervised training and testing of an SVM classifier. The predictive accuracy of the developed CAD system is illustrated by sensitivity and specificity values. The results based on full image matching where 0.78 (sensitivity) and 0.82 (specificity) were achieved, while the masked region approach generated results of 0.90 and 0.95, respectively.}, subject = {Speiser{\"o}hrenkrankheit}, language = {en} } @inproceedings{MendelEbigboProbstetal., author = {Mendel, Robert and Ebigbo, Alanna and Probst, Andreas and Messmann, Helmut and Palm, Christoph}, title = {Barrett's Esophagus Analysis Using Convolutional Neural Networks}, series = {Bildverarbeitung f{\"u}r die Medizin 2017; Algorithmen - Systeme - Anwendungen. Proceedings des Workshops vom 12. bis 14. M{\"a}rz 2017 in Heidelberg}, booktitle = {Bildverarbeitung f{\"u}r die Medizin 2017; Algorithmen - Systeme - Anwendungen. Proceedings des Workshops vom 12. bis 14. M{\"a}rz 2017 in Heidelberg}, publisher = {Springer}, address = {Berlin}, doi = {10.1007/978-3-662-54345-0_23}, pages = {80 -- 85}, abstract = {We propose an automatic approach for early detection of adenocarcinoma in the esophagus. High-definition endoscopic images (50 cancer, 50 Barrett) are partitioned into a dataset containing approximately equal amounts of patches showing cancerous and non-cancerous regions. A deep convolutional neural network is adapted to the data using a transfer learning approach. The final classification of an image is determined by at least one patch, for which the probability being a cancer patch exceeds a given threshold. The model was evaluated with leave one patient out cross-validation. With sensitivity and specificity of 0.94 and 0.88, respectively, our findings improve recently published results on the same image data base considerably. Furthermore, the visualization of the class probabilities of each individual patch indicates, that our approach might be extensible to the segmentation domain.}, subject = {Speiser{\"o}hrenkrebs}, language = {en} } @inproceedings{MaierHaugHuberetal., author = {Maier, Johannes and Haug, Sonja and Huber, Michaela and Katzky, Uwe and Neumann, Sabine and Perret, J{\´e}r{\^o}me and Prinzen, Martin and Weber, Karsten and Wittenberg, Thomas and W{\"o}hl, Rebecca and Scorna, Ulrike and Palm, Christoph}, title = {Development of a haptic and visual assisted training simulation concept for complex bone drilling in minimally invasive hand surgery}, series = {CARS Conference, 5.10.-7.10.2017}, booktitle = {CARS Conference, 5.10.-7.10.2017}, language = {en} } @article{SouzaJrPassosSantanaetal., author = {Souza Jr., Luis Antonio de and Passos, Leandro A. and Santana, Marcos Cleison S. and Mendel, Robert and Rauber, David and Ebigbo, Alanna and Probst, Andreas and Messmann, Helmut and Papa, Jo{\~a}o Paulo and Palm, Christoph}, title = {Layer-selective deep representation to improve esophageal cancer classification}, series = {Medical \& Biological Engineering \& Computing}, volume = {62}, journal = {Medical \& Biological Engineering \& Computing}, publisher = {Springer Nature}, address = {Heidelberg}, doi = {10.1007/s11517-024-03142-8}, pages = {3355 -- 3372}, abstract = {Even though artificial intelligence and machine learning have demonstrated remarkable performances in medical image computing, their accountability and transparency level must be improved to transfer this success into clinical practice. The reliability of machine learning decisions must be explained and interpreted, especially for supporting the medical diagnosis.For this task, the deep learning techniques' black-box nature must somehow be lightened up to clarify its promising results. Hence, we aim to investigate the impact of the ResNet-50 deep convolutional design for Barrett's esophagus and adenocarcinoma classification. For such a task, and aiming at proposing a two-step learning technique, the output of each convolutional layer that composes the ResNet-50 architecture was trained and classified for further definition of layers that would provide more impact in the architecture. We showed that local information and high-dimensional features are essential to improve the classification for our task. Besides, we observed a significant improvement when the most discriminative layers expressed more impact in the training and classification of ResNet-50 for Barrett's esophagus and adenocarcinoma classification, demonstrating that both human knowledge and computational processing may influence the correct learning of such a problem.}, language = {en} } @article{EbigboMendelProbstetal., author = {Ebigbo, Alanna and Mendel, Robert and Probst, Andreas and Meinikheim, Michael and Byrne, Michael F. and Messmann, Helmut and Palm, Christoph}, title = {Multimodal imaging for detection and segmentation of Barrett's esophagus-related neoplasia using artificial intelligence}, series = {Endoscopy}, volume = {54}, journal = {Endoscopy}, number = {10}, edition = {E-Video}, publisher = {Georg Thieme Verlag}, address = {Stuttgart}, doi = {10.1055/a-1704-7885}, pages = {1}, abstract = {The early diagnosis of cancer in Barrett's esophagus is crucial for improving the prognosis. However, identifying Barrett's esophagus-related neoplasia (BERN) is challenging, even for experts [1]. Four-quadrant biopsies may improve the detection of neoplasia, but they can be associated with sampling errors. The application of artificial intelligence (AI) to the assessment of Barrett's esophagus could improve the diagnosis of BERN, and this has been demonstrated in both preclinical and clinical studies [2] [3]. In this video demonstration, we show the accurate detection and delineation of BERN in two patients ([Video 1]). In part 1, the AI system detects a mucosal cancer about 20 mm in size and accurately delineates the lesion in both white-light and narrow-band imaging. In part 2, a small island of BERN with high-grade dysplasia is detected and delineated in white-light, narrow-band, and texture and color enhancement imaging. The video shows the results using a transparent overlay of the mucosal cancer in real time as well as a full segmentation preview. Additionally, the optical flow allows for the assessment of endoscope movement, something which is inversely related to the reliability of the AI prediction. We demonstrate that multimodal imaging can be applied to the AI-assisted detection and segmentation of even small focal lesions in real time.}, language = {en} } @article{KolevKirchgessnerHoubenetal., author = {Kolev, Kalin and Kirchgeßner, Norbert and Houben, Sebastian and Csisz{\´a}r, Agnes and Rubner, Wolfgang and Palm, Christoph and Eiben, Bj{\"o}rn and Merkel, Rudolf and Cremers, Daniel}, title = {A variational approach to vesicle membrane reconstruction from fluorescence imaging}, series = {Pattern Recognition}, volume = {44}, journal = {Pattern Recognition}, number = {12}, publisher = {Elsevier}, doi = {10.1016/j.patcog.2011.04.019}, pages = {2944 -- 2958}, abstract = {Biological applications like vesicle membrane analysis involve the precise segmentation of 3D structures in noisy volumetric data, obtained by techniques like magnetic resonance imaging (MRI) or laser scanning microscopy (LSM). Dealing with such data is a challenging task and requires robust and accurate segmentation methods. In this article, we propose a novel energy model for 3D segmentation fusing various cues like regional intensity subdivision, edge alignment and orientation information. The uniqueness of the approach consists in the definition of a new anisotropic regularizer, which accounts for the unbalanced slicing of the measured volume data, and the generalization of an efficient numerical scheme for solving the arising minimization problem, based on linearization and fixed-point iteration. We show how the proposed energy model can be optimized globally by making use of recent continuous convex relaxation techniques. The accuracy and robustness of the presented approach are demonstrated by evaluating it on multiple real data sets and comparing it to alternative segmentation methods based on level sets. Although the proposed model is designed with focus on the particular application at hand, it is general enough to be applied to a variety of different segmentation tasks.}, subject = {Dreidimensionale Bildverarbeitung}, language = {en} } @inproceedings{MetzlerAachPalmetal., author = {Metzler, V. and Aach, T. and Palm, Christoph and Lehmann, Thomas M.}, title = {Texture Classification of Graylevel Images by Multiscale Cross-Co-Occurrence Matrices}, series = {Proceedings 15th International Conference on Pattern Recognition (ICPR-2000)}, booktitle = {Proceedings 15th International Conference on Pattern Recognition (ICPR-2000)}, doi = {10.1109/ICPR.2000.906133}, pages = {549 -- 552}, abstract = {Local gray level dependencies of natural images can be modelled by means of co-occurrence matrices containing joint probabilities of gray-level pairs. Texture, however, is a resolution-dependent phenomenon and hence, classification depends on the chosen scale. Since there is no optimal scale for all textures we employ a multiscale approach that acquires textural features at several scales. Thus linear and nonlinear scale-spaces are analyzed by multiscale co-occurrence matrices that describe the statistical behavior of a texture in scale-space. Classification is then performed on the basis of texture features taken from the individual scale with the highest discriminatory power. By considering cross-scale occurrences of gray level pairs, the impact of filters on the feature is described and used for classification of natural textures. This novel method was found to improve classification rates of the common co-occurrence matrix approach on standard textures significantly.}, language = {en} } @misc{OPUS4-100, title = {Bildverarbeitung f{\"u}r die Medizin 2019}, editor = {Handels, Heinz and Deserno, Thomas M. and Maier, Andreas and Maier-Hein, Klaus H. and Palm, Christoph and Tolxdorff, Thomas}, publisher = {Springer}, address = {Berlin}, isbn = {978-3-658-25325-7}, issn = {1431-472X}, doi = {10.1007/978-3-658-25326-4}, abstract = {In den letzten Jahren hat sich der Workshop "Bildverarbeitung f{\"u}r die Medizin" durch erfolgreiche Veranstaltungen etabliert. Ziel ist auch 2019 wieder die Darstellung aktueller Forschungsergebnisse und die Vertiefung der Gespr{\"a}che zwischen Wissenschaftlern, Industrie und Anwendern. Die Beitr{\"a}ge dieses Bandes - einige davon in englischer Sprache - umfassen alle Bereiche der medizinischen Bildverarbeitung, insbesondere Bildgebung und -akquisition, Maschinelles Lernen, Bildsegmentierung und Bildanalyse, Visualisierung und Animation, Zeitreihenanalyse, Computerunterst{\"u}tzte Diagnose, Biomechanische Modellierung, Validierung und Qualit{\"a}tssicherung, Bildverarbeitung in der Telemedizin u.v.m.}, subject = {Bildgebendes Verfahren}, language = {de} } @misc{OPUS4-349, title = {Bildverarbeitung f{\"u}r die Medizin 2020}, editor = {Tolxdorff, Thomas and Deserno, Thomas M. and Handels, Heinz and Maier, Andreas and Maier-Hein, Klaus H. and Palm, Christoph}, publisher = {Springer Vieweg}, address = {Wiesbaden}, isbn = {978-3-658-29266-9}, doi = {10.1007/978-3-658-29267-6}, abstract = {In den letzten Jahren hat sich der Workshop "Bildverarbeitung f{\"u}r die Medizin" durch erfolgreiche Veranstaltungen etabliert. Ziel ist auch 2020 wieder die Darstellung aktueller Forschungsergebnisse und die Vertiefung der Gespr{\"a}che zwischen Wissenschaftlern, Industrie und Anwendern. Die Beitr{\"a}ge dieses Bandes - einige davon in englischer Sprache - umfassen alle Bereiche der medizinischen Bildverarbeitung, insbesondere Bildgebung und -akquisition, Maschinelles Lernen, Bildsegmentierung und Bildanalyse, Visualisierung und Animation, Zeitreihenanalyse, Computerunterst{\"u}tzte Diagnose, Biomechanische Modellierung, Validierung und Qualit{\"a}tssicherung, Bildverarbeitung in der Telemedizin u.v.m.}, subject = {Bildanalyse}, language = {de} } @misc{MeinikheimMendelProbstetal., author = {Meinikheim, Michael and Mendel, Robert and Probst, Andreas and Scheppach, Markus W. and Messmann, Helmut and Palm, Christoph and Ebigbo, Alanna}, title = {Optical Flow als Methode zur Qualit{\"a}tssicherung KI-unterst{\"u}tzter Untersuchungen von Barrett-{\"O}sophagus und Barrett-{\"O}sophagus assoziierten Neoplasien}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {60}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {08}, publisher = {Georg Thieme Verlag}, address = {Stuttgart}, doi = {10.1055/s-0042-1754997}, abstract = {Einleitung {\"U}berm{\"a}ßige Bewegung im Bild kann die Performance von auf k{\"u}nstlicher Intelligenz (KI) basierenden klinischen Entscheidungsunterst{\"u}tzungssystemen (CDSS) reduzieren. Optical Flow (OF) ist eine Methode zur Lokalisierung und Quantifizierung von Bewegungen zwischen aufeinanderfolgenden Bildern. Ziel Ziel ist es, die Mensch-Computer-Interaktion (HCI) zu verbessern und Endoskopiker die unser KI-System „Barrett-Ampel" zur Unterst{\"u}tzung bei der Beurteilung von Barrett-{\"O}sophagus (BE) verwenden, ein Echtzeit-Feedback zur aktuellen Datenqualit{\"a}t anzubieten. Methodik Dazu wurden unver{\"a}nderte Videos in „Weißlicht" (WL), „Narrow Band Imaging" (NBI) und „Texture and Color Enhancement Imaging" (TXI) von acht endoskopischen Untersuchungen von histologisch gesichertem BE und mit Barrett-{\"O}sophagus assoziierten Neoplasien (BERN) durch unseren KI-Algorithmus analysiert. Der zur Bewertung der Bildqualit{\"a}t verwendete OF beinhaltete die mittlere Magnitude und die Entropie des Histogramms der Winkel. Frames wurden automatisch extrahiert, wenn die vordefinierten Schwellenwerte von 3,0 f{\"u}r die mittlere Magnitude und 9,0 f{\"u}r die Entropie des Histogramms der Winkel {\"u}berschritten wurden. Experten sahen sich zun{\"a}chst die Videos ohne KI-Unterst{\"u}tzung an und bewerteten, ob St{\"o}rfaktoren die Sicherheit mit der eine Diagnose im vorliegenden Fall gestellt werden kann negativ beeinflussen. Anschließend {\"u}berpr{\"u}ften sie die extrahierten Frames. Ergebnis Gleichm{\"a}ßige Bewegung in eine Richtung, wie etwa beim Vorschieben des Endoskops, spiegelte sich, bei insignifikant ver{\"a}nderter Entropie, in einer Erh{\"o}hung der Magnitude wider. Chaotische Bewegung, zum Beispiel w{\"a}hrend dem Sp{\"u}len, war mit erh{\"o}hter Entropie assoziiert. Insgesamt war eine unruhige endoskopische Darstellung, Fl{\"u}ssigkeit sowie {\"u}berm{\"a}ßige {\"O}sophagusmotilit{\"a}t mit erh{\"o}htem OF assoziiert und korrelierte mit der Meinung der Experten {\"u}ber die Qualit{\"a}t der Videos. Der OF und die subjektive Wahrnehmung der Experten {\"u}ber die Verwertbarkeit der vorliegenden Bildsequenzen korrelierten direkt proportional. Wenn die vordefinierten Schwellenwerte des OF {\"u}berschritten wurden, war die damit verbundene Bildqualit{\"a}t in 94\% der F{\"a}lle f{\"u}r eine definitive Interpretation auch f{\"u}r Experten unzureichend. Schlussfolgerung OF hat das Potenzial Endoskopiker ein Echtzeit-Feedback {\"u}ber die Qualit{\"a}t des Dateninputs zu bieten und so nicht nur die HCI zu verbessern, sondern auch die optimale Performance von KI-Algorithmen zu erm{\"o}glichen.}, language = {de} } @misc{MeinikheimMendelScheppachetal., author = {Meinikheim, Michael and Mendel, Robert and Scheppach, Markus W. and Probst, Andreas and Prinz, Friederike and Schwamberger, Tanja and Schlottmann, Jakob and G{\"o}lder, Stefan Karl and Walter, Benjamin and Steinbr{\"u}ck, Ingo and Palm, Christoph and Messmann, Helmut and Ebigbo, Alanna}, title = {Einsatz von k{\"u}nstlicher Intelligenz (KI) als Entscheidungsunterst{\"u}tzungssystem f{\"u}r nicht-Experten bei der Beurteilung von Barrett-{\"O}sophagus assoziierten Neoplasien (BERN)}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {60}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {4}, publisher = {Thieme}, address = {Stuttgart}, doi = {10.1055/s-0042-1745653}, pages = {251}, abstract = {Einleitung Die sichere Detektion und Charakterisierung von Barrett-{\"O}sophagus assoziierten Neoplasien (BERN) stellt selbst f{\"u}r erfahrene Endoskopiker eine Herausforderung dar. Ziel Ziel dieser Studie ist es, den Add-on Effekt eines k{\"u}nstlichen Intelligenz (KI) Systems (Barrett-Ampel) als Entscheidungsunterst{\"u}zungssystem f{\"u}r Endoskopiker ohne Expertise bei der Untersuchung von BERN zu evaluieren. Material und Methodik Zw{\"o}lf Videos in „Weißlicht" (WL), „narrow-band imaging" (NBI) und „texture and color enhanced imaging" (TXI) von histologisch best{\"a}tigten Barrett-Metaplasien oder BERN wurden von Experten und Untersuchern ohne Barrett-Expertise evaluiert. Die Probanden wurden dazu aufgefordert in den Videos auftauchende BERN zu identifizieren und gegebenenfalls die optimale Biopsiestelle zu markieren. Unser KI-System wurde demselben Test unterzogen, wobei dieses BERN in Echtzeit segmentierte und farblich von umliegendem Epithel differenzierte. Anschließend wurden den Probanden die Videos mit zus{\"a}tzlicher KI-Unterst{\"u}tzung gezeigt. Basierend auf dieser neuen Information, wurden die Probanden zu einer Reevaluation ihrer initialen Beurteilung aufgefordert. Ergebnisse Die „Barrett-Ampel" identifizierte unabh{\"a}ngig von den verwendeten Darstellungsmodi (WL, NBI, TXI) alle BERN. Zwei entz{\"u}ndlich ver{\"a}nderte L{\"a}sionen wurden fehlinterpretiert (Genauigkeit=75\%). W{\"a}hrend Experten vergleichbare Ergebnisse erzielten (Genauigkeit=70,8\%), hatten Endoskopiker ohne Expertise bei der Beurteilung von Barrett-Metaplasien eine Genauigkeit von lediglich 58,3\%. Wurden die nicht-Experten allerdings von unserem KI-System unterst{\"u}tzt, erreichten diese eine Genauigkeit von 75\%. Zusammenfassung Unser KI-System hat das Potential als Entscheidungsunterst{\"u}tzungssystem bei der Differenzierung zwischen Barrett-Metaplasie und BERN zu fungieren und so Endoskopiker ohne entsprechende Expertise zu assistieren. Eine Limitation dieser Studie ist die niedrige Anzahl an eingeschlossenen Videos. Um die Ergebnisse dieser Studie zu best{\"a}tigen, m{\"u}ssen randomisierte kontrollierte klinische Studien durchgef{\"u}hrt werden.}, language = {de} } @misc{MeinikheimMendelScheppachetal., author = {Meinikheim, Michael and Mendel, Robert and Scheppach, Markus W. and Probst, Andreas and Prinz, Friederike and Schwamberger, Tanja and Schlottmann, Jakob and G{\"o}lder, Stefan Karl and Walter, Benjamin and Steinbr{\"u}ck, Ingo and Palm, Christoph and Messmann, Helmut and Ebigbo, Alanna}, title = {INFLUENCE OF AN ARTIFICIAL INTELLIGENCE (AI) BASED DECISION SUPPORT SYSTEM (DSS) ON THE DIAGNOSTIC PERFORMANCE OF NON-EXPERTS IN BARRETT´S ESOPHAGUS RELATED NEOPLASIA (BERN)}, series = {Endoscopy}, volume = {54}, journal = {Endoscopy}, number = {S 01}, publisher = {Thieme}, doi = {10.1055/s-00000012}, pages = {S39}, abstract = {Aims Barrett´s esophagus related neoplasia (BERN) is difficult to detect and characterize during endoscopy, even for expert endoscopists. We aimed to assess the add-on effect of an Artificial Intelligence (AI) algorithm (Barrett-Ampel) as a decision support system (DSS) for non-expert endoscopists in the evaluation of Barrett's esophagus (BE) and BERN. Methods Twelve videos with multimodal imaging white light (WL), narrow-band imaging (NBI), texture and color enhanced imaging (TXI) of histologically confirmed BE and BERN were assessed by expert and non-expert endoscopists. For each video, endoscopists were asked to identify the area of BERN and decide on the biopsy spot. Videos were assessed by the AI algorithm and regions of BERN were highlighted in real-time by a transparent overlay. Finally, endoscopists were shown the AI videos and asked to either confirm or change their initial decision based on the AI support. Results Barrett-Ampel correctly identified all areas of BERN, irrespective of the imaging modality (WL, NBI, TXI), but misinterpreted two inflammatory lesions (Accuracy=75\%). Expert endoscopists had a similar performance (Accuracy=70,8\%), while non-experts had an accuracy of 58.3\%. When AI was implemented as a DSS, non-expert endoscopists improved their diagnostic accuracy to 75\%. Conclusions AI may have the potential to support non-expert endoscopists in the assessment of videos of BE and BERN. Limitations of this study include the low number of videos used. Randomized clinical trials in a real-life setting should be performed to confirm these results.}, subject = {Speiser{\"o}hrenkrankheit}, language = {en} } @article{ScheppachMendelProbstetal., author = {Scheppach, Markus W. and Mendel, Robert and Probst, Andreas and Meinikheim, Michael and Palm, Christoph and Messmann, Helmut and Ebigbo, Alanna}, title = {ARTIFICIAL INTELLIGENCE (AI) - ASSISTED VESSEL AND TISSUE RECOGNITION IN THIRD-SPACE ENDOSCOPY}, series = {Endoscopy}, volume = {54}, journal = {Endoscopy}, number = {S01}, publisher = {Thieme}, doi = {10.1055/s-0042-1745037}, pages = {S175}, abstract = {Aims Third-space endoscopy procedures such as endoscopic submucosal dissection (ESD) and peroral endoscopic myotomy (POEM) are complex interventions with elevated risk of operator-dependent adverse events, such as intra-procedural bleeding and perforation. We aimed to design an artificial intelligence clinical decision support solution (AI-CDSS, "Smart ESD") for the detection and delineation of vessels, tissue structures, and instruments during third-space endoscopy procedures. Methods Twelve full-length third-space endoscopy videos were extracted from the Augsburg University Hospital database. 1686 frames were annotated for the following categories: Submucosal layer, blood vessels, electrosurgical knife and endoscopic instrument. A DeepLabv3+neural network with a 101-layer ResNet backbone was trained and validated internally. Finally, the ability of the AI system to detect visible vessels during ESD and POEM was determined on 24 separate video clips of 7 to 46 seconds duration and showing 33 predefined vessels. These video clips were also assessed by an expert in third-space endoscopy. Results Smart ESD showed a vessel detection rate (VDR) of 93.94\%, while an average of 1.87 false positive signals were recorded per minute. VDR of the expert endoscopist was 90.1\% with no false positive findings. On the internal validation data set using still images, the AI system demonstrated an Intersection over Union (IoU), mean Dice score and pixel accuracy of 63.47\%, 76.18\% and 86.61\%, respectively. Conclusions This is the first AI-CDSS aiming to mitigate operator-dependent limitations during third-space endoscopy. Further clinical trials are underway to better understand the role of AI in such procedures.}, language = {en} } @inproceedings{WeberNunesRauberPalm, author = {Weber Nunes, Danilo and Rauber, David and Palm, Christoph}, title = {Self-supervised 3D Vision Transformer Pre-training for Robust Brain Tumor Classification}, series = {Bildverarbeitung f{\"u}r die Medizin 2025: Proceedings, German Conference on Medical Image Computing, Regensburg March 09-11, 2025}, booktitle = {Bildverarbeitung f{\"u}r die Medizin 2025: Proceedings, German Conference on Medical Image Computing, Regensburg March 09-11, 2025}, editor = {Palm, Christoph and Breininger, Katharina and Deserno, Thomas M. and Handels, Heinz and Maier, Andreas and Maier-Hein, Klaus H. and Tolxdorff, Thomas}, publisher = {Springer Vieweg}, address = {Wiesbaden}, doi = {10.1007/978-3-658-47422-5_69}, pages = {298 -- 303}, abstract = {Brain tumors pose significant challenges in neurology, making precise classification crucial for prognosis and treatment planning. This work investigates the effectiveness of a self-supervised learning approach-masked autoencoding (MAE)-to pre-train a vision transformer (ViT) model for brain tumor classification. Our method uses non-domain specific data, leveraging the ADNI and OASIS-3 MRI datasets, which primarily focus on degenerative diseases, for pretraining. The model is subsequently fine-tuned and evaluated on the BraTS glioma and meningioma datasets, representing a novel use of these datasets for tumor classification. The pre-trained MAE ViT model achieves an average F1 score of 0.91 in a 5-fold cross-validation setting, outperforming the nnU-Net encoder trained from scratch, particularly under limited data conditions. These findings highlight the potential of self-supervised MAE in enhancing brain tumor classification accuracy, even with restricted labeled data.}, language = {en} } @inproceedings{WeiherervonRiedheimBrebantetal., author = {Weiherer, Maximilian and von Riedheim, Antonia and Br{\´e}bant, Vanessa and Egger, Bernhard and Palm, Christoph}, title = {iRBSM: A Deep Implicit 3D Breast Shape Model}, series = {Bildverarbeitung f{\"u}r die Medizin 2025: Proceedings, German Conference on Medical Image Computing, Regensburg March 09-11, 2025}, booktitle = {Bildverarbeitung f{\"u}r die Medizin 2025: Proceedings, German Conference on Medical Image Computing, Regensburg March 09-11, 2025}, editor = {Palm, Christoph and Breininger, Katharina and Deserno, Thomas M. and Handels, Heinz and Maier, Andreas and Maier-Hein, Klaus H. and Tolxdorff, Thomas}, publisher = {Springer Vieweg}, address = {Wiesbaden}, doi = {10.1007/978-3-658-47422-5_11}, pages = {38 -- 43}, abstract = {We present the first deep implicit 3D shape model of the female breast, building upon and improving the recently proposed Regensburg Breast Shape Model (RBSM). Compared to its PCA-based predecessor, our model employs implicit neural representations; hence, it can be trained on raw 3D breast scans and eliminates the need for computationally demanding non-rigid registration, a task that is particularly difficult for feature-less breast shapes. The resulting model, dubbed iRBSM, captures detailed surface geometry including fine structures such as nipples and belly buttons, is highly expressive, and outperforms the RBSM on different surface reconstruction tasks. Finally, leveraging the iRBSM, we present a prototype application to 3D reconstruct breast shapes from just a single image. Model and code publicly available at https://rbsm.re-mic.de/implicit.}, language = {en} } @misc{OPUS4-6079, title = {Bildverarbeitung f{\"u}r die Medizin 2023}, editor = {Deserno, Thomas M. and Handels, Heinz and Maier, Andreas and Maier-Hein, Klaus H. and Palm, Christoph and Tolxdorff, Thomas}, publisher = {Springer Vieweg}, address = {Wiesbaden}, isbn = {978-3-658-41656-0}, issn = {1431-472X}, doi = {10.1007/978-3-658-41657-7}, pages = {317}, abstract = {Seit mehr als 25 Jahren ist der Workshop "Bildverarbeitung f{\"u}r die Medizin" als erfolgreiche Veranstaltung etabliert. Ziel ist auch 2023 wieder die Darstellung aktueller Forschungsergebnisse und die Vertiefung der Gespr{\"a}che zwischen Wissenschaftlern, Industrie und Anwendern. Die Beitr{\"a}ge dieses Bandes - viele davon in englischer Sprache - umfassen alle Bereiche der medizinischen Bildverarbeitung, insbesondere die Bildgebung und -akquisition, Segmentierung und Analyse, Visualisierung und Animation, computerunterst{\"u}tzte Diagnose sowie bildgest{\"u}tzte Therapieplanung und Therapie. Hierbei kommen Methoden des maschinelles Lernens, der biomechanischen Modellierung sowie der Validierung und Qualit{\"a}tssicherung zum Einsatz.}, subject = {Bildverarbeitung}, language = {de} } @inproceedings{GutbrodGeislerRauberetal., author = {Gutbrod, Max and Geisler, Benedikt and Rauber, David and Palm, Christoph}, title = {Data Augmentation for Images of Chronic Foot Wounds}, series = {Bildverarbeitung f{\"u}r die Medizin 2024: Proceedings, German Workshop on Medical Image Computing, March 10-12, 2024, Erlangen}, booktitle = {Bildverarbeitung f{\"u}r die Medizin 2024: Proceedings, German Workshop on Medical Image Computing, March 10-12, 2024, Erlangen}, editor = {Maier, Andreas and Deserno, Thomas M. and Handels, Heinz and Maier-Hein, Klaus H. and Palm, Christoph and Tolxdorff, Thomas}, publisher = {Springer}, address = {Wiesbaden}, doi = {10.1007/978-3-658-44037-4_71}, pages = {261 -- 266}, abstract = {Training data for Neural Networks is often scarce in the medical domain, which often results in models that struggle to generalize and consequently showpoor performance on unseen datasets. Generally, adding augmentation methods to the training pipeline considerably enhances a model's performance. Using the dataset of the Foot Ulcer Segmentation Challenge, we analyze two additional augmentation methods in the domain of chronic foot wounds - local warping of wound edges along with projection and blurring of shapes inside wounds. Our experiments show that improvements in the Dice similarity coefficient and Normalized Surface Distance metrics depend on a sensible selection of those augmentation methods.}, language = {en} } @misc{SchroederSemmelmannSiegmundetal., author = {Schroeder, Josef A. and Semmelmann, Matthias and Siegmund, Heiko and Grafe, Claudia and Evert, Matthias and Palm, Christoph}, title = {Improved interactive computer-assisted approach for evaluation of ultrastructural cilia abnormalities}, series = {Ultrastructural Pathology}, volume = {41}, journal = {Ultrastructural Pathology}, number = {1}, doi = {10.1080/01913123.2016.1270978}, pages = {112 -- 113}, subject = {Zilie}, language = {en} } @misc{OPUS4-106, title = {Bildverarbeitung f{\"u}r die Medizin 2018}, editor = {Maier, Andreas and Deserno, Thomas M. and Handels, Heinz and Maier-Hein, Klaus H. and Palm, Christoph and Tolxdorff, Thomas}, publisher = {Springer}, address = {Berlin}, doi = {10.1007/978-3-662-56537-7}, subject = {Bildanalyse}, language = {de} } @misc{OPUS4-7967, title = {Bildverarbeitung f{\"u}r die Medizin 2025}, editor = {Palm, Christoph and Breininger, Katharina and Deserno, Thomas M. and Handels, Heinz and Maier, Andreas and Maier-Hein, Klaus H. and Tolxdorff, Thomas M.}, publisher = {Springer Fachmedien Wiesbaden}, address = {Wiesbaden}, isbn = {978-3-658-47421-8}, issn = {1431-472X}, doi = {10.1007/978-3-658-47422-5}, pages = {XXIII, 354}, abstract = {Die Konferenz "BVM - Bildverarbeitung f{\"u}r die Medizin" ist seit vielen Jahren als die nationale Plattform f{\"u}r den Austausch von Ideen und die Diskussion der neuesten Forschungsergebnisse im Bereich der Medizinischen Bildverarbeitung und der K{\"u}nstlichen Intelligenz (KI) etabliert. Auch 2025 werden wir aktuelle Forschungsergebnisse vorstellen und Gespr{\"a}che zwischen (jungen) Wissenschaftler*innen, Industrie und Anwender*innen vertiefen. Die Beitr{\"a}ge dieses Bandes - die meisten davon in englischer Sprache - umfassen alle Bereiche der medizinischen Bildverarbeitung, insbesondere die Bildgebung und -akquisition, Segmentierung und Analyse, Registrierung, Visualisierung und Animation, computerunterst{\"u}tzte Diagnose sowie bildgest{\"u}tzte Therapieplanung und Therapie. Hierbei kommen Methoden des maschinellen Lernens, der biomechanischen Modellierung sowie der Validierung und Qualit{\"a}tssicherung zum Einsatz. Das Kapitel "Leveraging multiple total body segmentators and anatomy-informed post-processing for segmenting bones in Lung CTs" ist unter einer Creative Commons Attribution 4.0 International License {\"u}ber link.springer.com frei verf{\"u}gbar (Open Access). Die Herausgebenden Prof. Palm forscht im Bereich KI f{\"u}r die Medizin mit einem Schwerpunkt in der Analyse endoskopischer Bilddaten zur computerunterst{\"u}tzten Diagnose und Therapie. Prof. Breininger entwickelt robuste Ans{\"a}tze des maschinellen Lernens in verschiedenen interdisziplin{\"a}ren Bereichen, mit einem Schwerpunkt auf medizinischen Bilddaten. Prof. Deserno forscht in Biosignal- und Bilderzeugung und -verarbeitung, insbesondere in der videobasierten Vitaldatenmessung. Prof. Handels entwickelt problemoptimierte, lernf{\"a}hige Bildverarbeitungsmethoden und integriert diese in hybride Bildverarbeitungssysteme zur Unterst{\"u}tzung der medizinischen Diagnostik und Therapie. Prof. Maier entwickelt Anwendungen in der medizinischen Bildverarbeitung zur Diagnoseunterst{\"u}tzung bis hin zur Schichtbildberechnung durch k{\"u}nstliche Intelligenz. Prof. Maier-Hein forscht im Bereich maschinelles Lernen und entwickelt Open-Source-L{\"o}sungen wie das Medical Imaging Interaction Toolkit (MITK), Kaapana oder das nnU-Net. Prof. em. Tolxdorff ist Experte f{\"u}r maschinelles Lernen, biomedizinisches Datenmanagement, Datenvisualisierung und -analyse sowie Medizinproduktentwicklung in klinischen Workflows.}, subject = {Bildverarbeitung}, language = {de} } @article{HartwigBerletCzempieletal., author = {Hartwig, Regine and Berlet, Maximilian and Czempiel, Tobias and Fuchtmann, Jonas and R{\"u}ckert, Tobias and Feussner, Hubertus and Wilhelm, Dirk}, title = {Bildbasierte Unterst{\"u}tzungsmethoden f{\"u}r die zuk{\"u}nftige Anwendung in der Chirurgie}, series = {Die Chirurgie}, volume = {93}, journal = {Die Chirurgie}, publisher = {Springer}, doi = {10.1007/s00104-022-01668-x}, pages = {956 -- 965}, abstract = {Hintergrund: Die Entwicklung assistiver Technologien wird in den kommenden Jahren nicht nur in der Chirurgie von zunehmender Bedeutung sein. Die Wahrnehmung der Istsituation stellt hierbei die Grundlage jeder autonomen Handlung dar. Hierf{\"u}r k{\"o}nnen unterschiedliche Sensorsysteme genutzt werden, wobei videobasierte Systeme ein besonderes Potenzial aufweisen. Methode: Anhand von Literaturangaben und auf Basis eigener Forschungsarbeiten werden zentrale Aspekte bildbasierter Unterst{\"u}tzungssysteme f{\"u}r die Chirurgie dargestellt. Hierbei wird deren Potenzial, aber auch die Limitationen der Methoden erl{\"a}utert. Ergebnisse: Eine etablierte Anwendung stellt die Phasendetektion chirurgischer Eingriffe dar, f{\"u}r die Operationsvideos mittels neuronaler Netzwerke analysiert werden. Durch eine zeitlich gest{\"u}tzte und transformative Analyse konnten die Ergebnisse der Pr{\"a}diktion j{\"u}ngst deutlich verbessert werden. Aber auch robotische Kameraf{\"u}hrungssysteme nutzen Bilddaten, um das Laparoskop zuk{\"u}nftig autonom zu navigieren. Um die Zuverl{\"a}ssigkeit an die hohen Anforderungen in der Chirurgie anzugleichen, m{\"u}ssen diese jedoch durch zus{\"a}tzliche Informationen erg{\"a}nzt werden. Ein vergleichbarer multimodaler Ansatz wurde bereits f{\"u}r die Navigation und Lokalisation bei laparoskopischen Eingriffen umgesetzt. Hierzu werden Videodaten mittels verschiedener Methoden analysiert und diese Ergebnisse mit anderen Sensormodalit{\"a}ten fusioniert. Diskussion: Bildbasierte Unterst{\"u}tzungsmethoden sind bereits f{\"u}r diverse Aufgaben verf{\"u}gbar und stellen einen wichtigen Aspekt f{\"u}r die Chirurgie der Zukunft dar. Um hier jedoch zuverl{\"a}ssig und f{\"u}r autonome Funktionen eingesetzt werden zu k{\"o}nnen, m{\"u}ssen sie zuk{\"u}nftig in multimodale Ans{\"a}tze eingebettet werden, um die erforderliche Sicherheit bieten zu k{\"o}nnen.}, language = {de} } @inproceedings{RueckertRiederFeussneretal., author = {R{\"u}ckert, Tobias and Rieder, Maximilian and Feussner, Hubertus and Wilhelm, Dirk and R{\"u}ckert, Daniel and Palm, Christoph}, title = {Smoke Classification in Laparoscopic Cholecystectomy Videos Incorporating Spatio-temporal Information}, series = {Bildverarbeitung f{\"u}r die Medizin 2024: Proceedings, German Workshop on Medical Image Computing, March 10-12, 2024, Erlangen}, booktitle = {Bildverarbeitung f{\"u}r die Medizin 2024: Proceedings, German Workshop on Medical Image Computing, March 10-12, 2024, Erlangen}, editor = {Maier, Andreas and Deserno, Thomas M. and Handels, Heinz and Maier-Hein, Klaus H. and Palm, Christoph and Tolxdorff, Thomas}, publisher = {Springeer}, address = {Wiesbaden}, doi = {10.1007/978-3-658-44037-4_78}, pages = {298 -- 303}, abstract = {Heavy smoke development represents an important challenge for operating physicians during laparoscopic procedures and can potentially affect the success of an intervention due to reduced visibility and orientation. Reliable and accurate recognition of smoke is therefore a prerequisite for the use of downstream systems such as automated smoke evacuation systems. Current approaches distinguish between non-smoked and smoked frames but often ignore the temporal context inherent in endoscopic video data. In this work, we therefore present a method that utilizes the pixel-wise displacement from randomly sampled images to the preceding frames determined using the optical flow algorithm by providing the transformed magnitude of the displacement as an additional input to the network. Further, we incorporate the temporal context at evaluation time by applying an exponential moving average on the estimated class probabilities of the model output to obtain more stable and robust results over time. We evaluate our method on two convolutional-based and one state-of-the-art transformer architecture and show improvements in the classification results over a baseline approach, regardless of the network used.}, language = {en} } @unpublished{MendelRueckertWilhelmetal., author = {Mendel, Robert and R{\"u}ckert, Tobias and Wilhelm, Dirk and R{\"u}ckert, Daniel and Palm, Christoph}, title = {Motion-Corrected Moving Average: Including Post-Hoc Temporal Information for Improved Video Segmentation}, doi = {10.48550/arXiv.2403.03120}, pages = {9}, abstract = {Real-time computational speed and a high degree of precision are requirements for computer-assisted interventions. Applying a segmentation network to a medical video processing task can introduce significant inter-frame prediction noise. Existing approaches can reduce inconsistencies by including temporal information but often impose requirements on the architecture or dataset. This paper proposes a method to include temporal information in any segmentation model and, thus, a technique to improve video segmentation performance without alterations during training or additional labeling. With Motion-Corrected Moving Average, we refine the exponential moving average between the current and previous predictions. Using optical flow to estimate the movement between consecutive frames, we can shift the prior term in the moving-average calculation to align with the geometry of the current frame. The optical flow calculation does not require the output of the model and can therefore be performed in parallel, leading to no significant runtime penalty for our approach. We evaluate our approach on two publicly available segmentation datasets and two proprietary endoscopic datasets and show improvements over a baseline approach.}, subject = {Deep Learning}, language = {en} } @misc{ScheppachMendelProbstetal., author = {Scheppach, Markus W. and Mendel, Robert and Probst, Andreas and Meinikheim, Michael and Palm, Christoph and Messmann, Helmut and Ebigbo, Alanna}, title = {Artificial Intelligence (AI) - assisted vessel and tissue recognition during third space endoscopy (Smart ESD)}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {60}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {08}, publisher = {Georg Thieme Verlag}, address = {Stuttgart}, doi = {10.1055/s-0042-1755110}, abstract = {Clinical setting Third space procedures such as endoscopic submucosal dissection (ESD) and peroral endoscopic myotomy (POEM) are complex minimally invasive techniques with an elevated risk for operator-dependent adverse events such as bleeding and perforation. This risk arises from accidental dissection into the muscle layer or through submucosal blood vessels as the submucosal cutting plane within the expanding resection site is not always apparent. Deep learning algorithms have shown considerable potential for the detection and characterization of gastrointestinal lesions. So-called AI - clinical decision support solutions (AI-CDSS) are commercially available for polyp detection during colonoscopy. Until now, these computer programs have concentrated on diagnostics whereas an AI-CDSS for interventional endoscopy has not yet been introduced. We aimed to develop an AI-CDSS („Smart ESD") for real-time intra-procedural detection and delineation of blood vessels, tissue structures and endoscopic instruments during third-space endoscopic procedures. Characteristics of Smart ESD An AI-CDSS was invented that delineates blood vessels, tissue structures and endoscopic instruments during third-space endoscopy in real-time. The output can be displayed by an overlay over the endoscopic image with different modes of visualization, such as a color-coded semitransparent area overlay, or border tracing (demonstration video). Hereby the optimal layer for dissection can be visualized, which is close above or directly at the muscle layer, depending on the applied technique (ESD or POEM). Furthermore, relevant blood vessels (thickness> 1mm) are delineated. Spatial proximity between the electrosurgical knife and a blood vessel triggers a warning signal. By this guidance system, inadvertent dissection through blood vessels could be averted. Technical specifications A DeepLabv3+ neural network architecture with KSAC and a 101-layer ResNeSt backbone was used for the development of Smart ESD. It was trained and validated with 2565 annotated still images from 27 full length third-space endoscopic videos. The annotation classes were blood vessel, submucosal layer, muscle layer, electrosurgical knife and endoscopic instrument shaft. A test on a separate data set yielded an intersection over union (IoU) of 68\%, a Dice Score of 80\% and a pixel accuracy of 87\%, demonstrating a high overlap between expert and AI segmentation. Further experiments on standardized video clips showed a mean vessel detection rate (VDR) of 85\% with values of 92\%, 70\% and 95\% for POEM, rectal ESD and esophageal ESD respectively. False positive measurements occurred 0.75 times per minute. 7 out of 9 vessels which caused intraprocedural bleeding were caught by the algorithm, as well as both vessels which required hemostasis via hemostatic forceps. Future perspectives Smart ESD performed well for vessel and tissue detection and delineation on still images, as well as on video clips. During a live demonstration in the endoscopy suite, clinical applicability of the innovation was examined. The lag time for processing of the live endoscopic image was too short to be visually detectable for the interventionist. Even though the algorithm could not be applied during actual dissection by the interventionist, Smart ESD appeared readily deployable during visual assessment by ESD experts. Therefore, we plan to conduct a clinical trial in order to obtain CE-certification of the algorithm. This new technology may improve procedural safety and speed, as well as training of modern minimally invasive endoscopic resection techniques.}, subject = {Bildgebendes Verfahren}, language = {en} } @misc{MeinikheimMendelProbstetal., author = {Meinikheim, Michael and Mendel, Robert and Probst, Andreas and Scheppach, Markus W. and Messmann, Helmut and Palm, Christoph and Ebigbo, Alanna}, title = {Barrett-Ampel}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {60}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {08}, publisher = {Georg Thieme Verlag}, address = {Stuttgart}, doi = {10.1055/s-0042-1755109}, abstract = {Hintergrund Adenokarzinome des {\"O}sophagus sind bis heute mit einer infausten Prognose vergesellschaftet (1). Obwohl Endoskopiker mit Barrett-{\"O}sophagus als Pr{\"a}kanzerose konfrontiert werden, ist vor allem f{\"u}r nicht-Experten die Differenzierung zwischen Barrett-{\"O}sophagus ohne Dysplasie und assoziierten Neoplasien mitunter schwierig. Existierende Biopsieprotokolle (z.B. Seattle Protokoll) sind oftmals unzuverl{\"a}ssig (2). Eine fr{\"u}hzeitige Diagnose des Adenokarzinoms ist allerdings von fundamentaler Bedeutung f{\"u}r die Prognose des Patienten. Forschungsansatz Auf der Grundlage dieser Problematik, entwickelten wir in Kooperation mit dem Forschungslabor „Regensburg Medical Image Computing (ReMIC)" der OTH Regensburg ein auf k{\"u}nstlicher Intelligenz (KI) basiertes Entscheidungsunterst{\"u}tzungssystem (CDSS). Das auf einer DeepLabv3+ neuronalen Netzwerkarchitektur basierende CDSS differenziert mittels Mustererkennung Barrett- {\"O}sophagus ohne Dysplasie von Barrett-{\"O}sophagus mit Dysplasie bzw. Neoplasie („Klassifizierung"). Hierbei werden gemittelte Ausgabewahrscheinlichkeiten mit einem vom Benutzer definierten Schwellenwert verglichen. F{\"u}r Vorhersagen, die den Schwellenwert {\"u}berschreiten, berechnen wir die Kontur der Region und die Fl{\"a}che. Sobald die vorhergesagte L{\"a}sion eine bestimmte Gr{\"o}ße in der Eingabe {\"u}berschreitet, heben wir sie und ihren Umriss hervor. So erm{\"o}glicht eine farbkodierte Visualisierung eine Abgrenzung zwischen Dysplasie bzw. Neoplasie und normalem Barrett-Epithel („Segmentierung"). In einer Studie an Bildern in „Weißlicht" (WL) und „Narrow Band Imaging" (NBI) demonstrierten wir eine Sensitivit{\"a}t von mehr als 90\% und eine Spezifit{\"a}t von mehr als 80\% (3). In einem n{\"a}chsten Schritt, differenzierte unser KI-Algorithmus Barrett- Metaplasien von assoziierten Neoplasien anhand von zuf{\"a}llig abgegriffenen Bildern in Echtzeit mit einer Accuracy von 89.9\% (4). Darauf folgend, entwickelten wir unser System dahingehend weiter, dass unser Algorithmus nun auch dazu in der Lage ist, Untersuchungsvideos in WL, NBI und „Texture and Color Enhancement Imaging" (TXI) in Echtzeit zu analysieren (5). Aktuell f{\"u}hren wir eine Studie in einem randomisiert-kontrollierten Ansatz an unver{\"a}nderten Untersuchungsvideos in WL, NBI und TXI durch. Ausblick Um Patienten mit aus Barrett-Metaplasien resultierenden Neoplasien fr{\"u}hestm{\"o}glich an „High-Volume"-Zentren {\"u}berweisen zu k{\"o}nnen, soll unser KI-Algorithmus zuk{\"u}nftig vor allem Endoskopiker ohne extensive Erfahrung bei der Beurteilung von Barrett- {\"O}sophagus in der Krebsfr{\"u}herkennung unterst{\"u}tzen.}, subject = {Speiser{\"o}hrenkrebs}, language = {de} } @misc{ScheppachMendelProbstetal., author = {Scheppach, Markus W. and Mendel, Robert and Probst, Andreas and Meinikheim, Michael and Palm, Christoph and Messmann, Helmut and Ebigbo, Alanna}, title = {Intraprozedurale Strukturerkennung bei Third-Space Endoskopie mithilfe eines Deep-Learning Algorithmus}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {60}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {04}, publisher = {Thieme}, address = {Stuttgart}, doi = {10.1055/s-0042-1745652}, pages = {e250-e251}, abstract = {Einleitung Third-Space Interventionen wie die endoskopische Submukosadissektion (ESD) und die perorale endoskopische Myotomie (POEM) sind technisch anspruchsvoll und mit einem erh{\"o}hten Risiko f{\"u}r intraprozedurale Komplikationen wie Blutung oder Perforation assoziiert. Moderne Computerprogramme zur Unterst{\"u}tzung bei diagnostischen Entscheidungen werden unter Einsatz von k{\"u}nstlicher Intelligenz (KI) in der Endoskopie bereits erfolgreich eingesetzt. Ziel der vorliegenden Arbeit war es, relevante anatomische Strukturen mithilfe eines Deep-Learning Algorithmus zu detektieren und segmentieren, um die Sicherheit und Anwendbarkeit von ESD und POEM zu erh{\"o}hen. Methoden Zw{\"o}lf Videoaufnahmen in voller L{\"a}nge von Third-Space Endoskopien wurden aus der Datenbank des Universit{\"a}tsklinikums Augsburg extrahiert. 1686 Einzelbilder wurden f{\"u}r die Kategorien Submukosa, Blutgef{\"a}ß, Dissektionsmesser und endoskopisches Instrument annotiert und segmentiert. Mit diesem Datensatz wurde ein DeepLabv3+neuronales Netzwerk auf der Basis eines ResNet mit 101 Schichten trainiert und intern anhand der Parameter Intersection over Union (IoU), Dice Score und Pixel Accuracy validiert. Die F{\"a}higkeit des Algorithmus zur Gef{\"a}ßdetektion wurde anhand von 24 Videoclips mit einer Spieldauer von 7 bis 46 Sekunden mit 33 vordefinierten Gef{\"a}ßen evaluiert. Anhand dieses Tests wurde auch die Gef{\"a}ßdetektionsrate eines Experten in der Third-Space Endoskopie ermittelt. Ergebnisse Der Algorithmus zeigte eine Gef{\"a}ßdetektionsrate von 93,94\% mit einer mittleren Rate an falsch positiven Signalen von 1,87 pro Minute. Die Gef{\"a}ßdetektionsrate des Experten lag bei 90,1\% ohne falsch positive Ergebnisse. In der internen Validierung an Einzelbildern wurde eine IoU von 63,47\%, ein mittlerer Dice Score von 76,18\% und eine Pixel Accuracy von 86,61\% ermittelt. Zusammenfassung Dies ist der erste KI-Algorithmus, der f{\"u}r den Einsatz in der therapeutischen Endoskopie entwickelt wurde. Pr{\"a}limin{\"a}re Ergebnisse deuten auf eine mit Experten vergleichbare Detektion von Gef{\"a}ßen w{\"a}hrend der Untersuchung hin. Weitere Untersuchungen sind n{\"o}tig, um die Leistung des Algorithmus im Vergleich zum Experten genauer zu eruieren sowie einen m{\"o}glichen klinischen Nutzen zu ermitteln.}, language = {de} } @article{SouzaJrPachecoPassosetal., author = {Souza Jr., Luis Antonio de and Pacheco, Andr{\´e} G.C. and Passos, Leandro A. and Santana, Marcos Cleison S. and Mendel, Robert and Ebigbo, Alanna and Probst, Andreas and Messmann, Helmut and Palm, Christoph and Papa, Jo{\~a}o Paulo}, title = {DeepCraftFuse: visual and deeply-learnable features work better together for esophageal cancer detection in patients with Barrett's esophagus}, series = {Neural Computing and Applications}, volume = {36}, journal = {Neural Computing and Applications}, publisher = {Springer}, address = {London}, doi = {10.1007/s00521-024-09615-z}, pages = {10445 -- 10459}, abstract = {Limitations in computer-assisted diagnosis include lack of labeled data and inability to model the relation between what experts see and what computers learn. Even though artificial intelligence and machine learning have demonstrated remarkable performances in medical image computing, their accountability and transparency level must be improved to transfer this success into clinical practice. The reliability of machine learning decisions must be explained and interpreted, especially for supporting the medical diagnosis. While deep learning techniques are broad so that unseen information might help learn patterns of interest, human insights to describe objects of interest help in decision-making. This paper proposes a novel approach, DeepCraftFuse, to address the challenge of combining information provided by deep networks with visual-based features to significantly enhance the correct identification of cancerous tissues in patients affected with Barrett's esophagus (BE). We demonstrate that DeepCraftFuse outperforms state-of-the-art techniques on private and public datasets, reaching results of around 95\% when distinguishing patients affected by BE that is either positive or negative to esophageal cancer.}, subject = {Deep Learning}, language = {en} } @article{SouzaPachecodeSouzaetal., author = {Souza, Luis A. and Pacheco, Andr{\´e} G.C. and de Souza, Alberto F. and Oliveira-Santos, Thiago and Badue, Claudine and Palm, Christoph and Papa, Jo{\~a}o Paulo}, title = {TransConv: a lightweight architecture based on transformers and convolutional neural networks for adenocarcinoma and Barrett's esophagus identification}, series = {Neural Computing and Applications}, journal = {Neural Computing and Applications}, number = {37}, publisher = {Springer}, doi = {10.1007/s00521-025-11299-y}, pages = {15535 -- 15546}, abstract = {Barrett's esophagus, also known as BE, is commonly associated with repeated exposure to stomach acid. If not treated properly, it may evolve into esophageal adenocarcinoma, aka esophageal cancer. This paper proposes TransConv, a hybrid architecture that benefits from features learned by pre-trained vision transformers (ViTs) and convolutional neural networks (CNNs), followed by a shallow neural network composed of three normalizations, ReLU activations, and fully connected layers, and a SoftMax head to distinguish between BE and esophageal cancer. TransConv is designed to be training-lightweight, and for the ViT and CNN backbone models, weights are kept frozen during training, i.e., the primary goal of TransConv is to learn the weights of the fully connected layer from both backbones only, avoiding the burden of updating their weights but still learning their final descriptions for the lightweight convolutional model. We report promising results with low computational training costs in two datasets, one public and another private. From our achievements, TransConv was able to deliver balanced accuracy results around 85\% and 86\% for each evaluated dataset, respectively, in a design that required only 50 epochs of model training, a very reduced number compared to state-of-the-art conducted studies in the same domain.}, language = {en} } @unpublished{RueckertRueckertPalm, author = {R{\"u}ckert, Tobias and R{\"u}ckert, Daniel and Palm, Christoph}, title = {Methods and datasets for segmentation of minimally invasive surgical instruments in endoscopic images and videos: A review of the state of the art}, doi = {10.48550/arXiv.2304.13014}, pages = {25}, abstract = {In the field of computer- and robot-assisted minimally invasive surgery, enormous progress has been made in recent years based on the recognition of surgical instruments in endoscopic images. Especially the determination of the position and type of the instruments is of great interest here. Current work involves both spatial and temporal information with the idea, that the prediction of movement of surgical tools over time may improve the quality of final segmentations. The provision of publicly available datasets has recently encouraged the development of new methods, mainly based on deep learning. In this review, we identify datasets used for method development and evaluation, as well as quantify their frequency of use in the literature. We further present an overview of the current state of research regarding the segmentation and tracking of minimally invasive surgical instruments in endoscopic images. The paper focuses on methods that work purely visually without attached markers of any kind on the instruments, taking into account both single-frame segmentation approaches as well as those involving temporal information. A discussion of the reviewed literature is provided, highlighting existing shortcomings and emphasizing available potential for future developments. The publications considered were identified through the platforms Google Scholar, Web of Science, and PubMed. The search terms used were "instrument segmentation", "instrument tracking", "surgical tool segmentation", and "surgical tool tracking" and result in 408 articles published between 2015 and 2022 from which 109 were included using systematic selection criteria.}, language = {en} } @inproceedings{GutbrodRauberWeberNunesetal., author = {Gutbrod, Max and Rauber, David and Weber Nunes, Danilo and Palm, Christoph}, title = {OpenMIBOOD: Open Medical Imaging Benchmarks for Out-Of-Distribution Detection}, series = {2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 10.-17. June 2025, Nashville}, booktitle = {2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 10.-17. June 2025, Nashville}, publisher = {IEEE}, isbn = {979-8-3315-4364-8}, doi = {10.1109/CVPR52734.2025.02410}, pages = {25874 -- 25886}, abstract = {The growing reliance on Artificial Intelligence (AI) in critical domains such as healthcare demands robust mechanisms to ensure the trustworthiness of these systems, especially when faced with unexpected or anomalous inputs. This paper introduces the Open Medical Imaging Benchmarks for Out-Of-Distribution Detection (OpenMIBOOD), a comprehensive framework for evaluating out-of-distribution (OOD) detection methods specifically in medical imaging contexts. OpenMIBOOD includes three benchmarks from diverse medical domains, encompassing 14 datasets divided into covariate-shifted in-distribution, nearOOD, and far-OOD categories. We evaluate 24 post-hoc methods across these benchmarks, providing a standardized reference to advance the development and fair comparison of OODdetection methods. Results reveal that findings from broad-scale OOD benchmarks in natural image domains do not translate to medical applications, underscoring the critical need for such benchmarks in the medical field. By mitigating the risk of exposing AI models to inputs outside their training distribution, OpenMIBOOD aims to support the advancement of reliable and trustworthy AI systems in healthcare. The repository is available at https://github.com/remic-othr/OpenMIBOOD.}, language = {en} } @unpublished{RueckertRauberMaerkletal., author = {R{\"u}ckert, Tobias and Rauber, David and Maerkl, Raphaela and Klausmann, Leonard and Yildiran, Suemeyye R. and Gutbrod, Max and Nunes, Danilo Weber and Moreno, Alvaro Fernandez and Luengo, Imanol and Stoyanov, Danail and Toussaint, Nicolas and Cho, Enki and Kim, Hyeon Bae and Choo, Oh Sung and Kim, Ka Young and Kim, Seong Tae and Arantes, Gon{\c{c}}alo and Song, Kehan and Zhu, Jianjun and Xiong, Junchen and Lin, Tingyi and Kikuchi, Shunsuke and Matsuzaki, Hiroki and Kouno, Atsushi and Manesco, Jo{\~a}o Renato Ribeiro and Papa, Jo{\~a}o Paulo and Choi, Tae-Min and Jeong, Tae Kyeong and Park, Juyoun and Alabi, Oluwatosin and Wei, Meng and Vercauteren, Tom and Wu, Runzhi and Xu, Mengya and an Wang, and Bai, Long and Ren, Hongliang and Yamlahi, Amine and Hennighausen, Jakob and Maier-Hein, Lena and Kondo, Satoshi and Kasai, Satoshi and Hirasawa, Kousuke and Yang, Shu and Wang, Yihui and Chen, Hao and Rodr{\´i}guez, Santiago and Aparicio, Nicol{\´a}s and Manrique, Leonardo and Lyons, Juan Camilo and Hosie, Olivia and Ayobi, Nicol{\´a}s and Arbel{\´a}ez, Pablo and Li, Yiping and Khalil, Yasmina Al and Nasirihaghighi, Sahar and Speidel, Stefanie and R{\"u}ckert, Daniel and Feussner, Hubertus and Wilhelm, Dirk and Palm, Christoph}, title = {Comparative validation of surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation in endoscopy: Results of the PhaKIR 2024 challenge}, pages = {36}, abstract = {Reliable recognition and localization of surgical instruments in endoscopic video recordings are foundational for a wide range of applications in computer- and robot-assisted minimally invasive surgery (RAMIS), including surgical training, skill assessment, and autonomous assistance. However, robust performance under real-world conditions remains a significant challenge. Incorporating surgical context - such as the current procedural phase - has emerged as a promising strategy to improve robustness and interpretability. To address these challenges, we organized the Surgical Procedure Phase, Keypoint, and Instrument Recognition (PhaKIR) sub-challenge as part of the Endoscopic Vision (EndoVis) challenge at MICCAI 2024. We introduced a novel, multi-center dataset comprising thirteen full-length laparoscopic cholecystectomy videos collected from three distinct medical institutions, with unified annotations for three interrelated tasks: surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation. Unlike existing datasets, ours enables joint investigation of instrument localization and procedural context within the same data while supporting the integration of temporal information across entire procedures. We report results and findings in accordance with the BIAS guidelines for biomedical image analysis challenges. The PhaKIR sub-challenge advances the field by providing a unique benchmark for developing temporally aware, context-driven methods in RAMIS and offers a high-quality resource to support future research in surgical scene understanding.}, language = {en} } @misc{RueckertRueckertPalm, author = {R{\"u}ckert, Tobias and R{\"u}ckert, Daniel and Palm, Christoph}, title = {Corrigendum to "Methods and datasets for segmentation of minimally invasive surgical instruments in endoscopic images and videos: A review of the state of the art" [Comput. Biol. Med. 169 (2024) 107929]}, series = {Computers in Biology and Medicine}, journal = {Computers in Biology and Medicine}, publisher = {Elsevier}, doi = {10.1016/j.compbiomed.2024.108027}, url = {http://nbn-resolving.de/urn:nbn:de:bvb:898-opus4-70337}, pages = {1}, abstract = {The authors regret that the SAR-RARP50 dataset is missing from the description of publicly available datasets presented in Chapter 4.}, language = {en} } @article{HammerNunesHammeretal., author = {Hammer, Simone and Nunes, Danilo Weber and Hammer, Michael and Zeman, Florian and Akers, Michael and G{\"o}tz, Andrea and Balla, Annika and Doppler, Michael Christian and Fellner, Claudia and Da Platz Batista Silva, Natascha and Thurn, Sylvia and Verloh, Niklas and Stroszczynski, Christian and Wohlgemuth, Walter Alexander and Palm, Christoph and Uller, Wibke}, title = {Deep learning-based differentiation of peripheral high-flow and low-flow vascular malformations in T2-weighted short tau inversion recovery MRI}, series = {Clinical hemorheology and microcirculation}, journal = {Clinical hemorheology and microcirculation}, edition = {Pre-press}, publisher = {IOP Press}, doi = {10.3233/CH-232071}, pages = {1 -- 15}, abstract = {BACKGROUND Differentiation of high-flow from low-flow vascular malformations (VMs) is crucial for therapeutic management of this orphan disease. OBJECTIVE A convolutional neural network (CNN) was evaluated for differentiation of peripheral vascular malformations (VMs) on T2-weighted short tau inversion recovery (STIR) MRI. METHODS 527 MRIs (386 low-flow and 141 high-flow VMs) were randomly divided into training, validation and test set for this single-center study. 1) Results of the CNN's diagnostic performance were compared with that of two expert and four junior radiologists. 2) The influence of CNN's prediction on the radiologists' performance and diagnostic certainty was evaluated. 3) Junior radiologists' performance after self-training was compared with that of the CNN. RESULTS Compared with the expert radiologists the CNN achieved similar accuracy (92\% vs. 97\%, p = 0.11), sensitivity (80\% vs. 93\%, p = 0.16) and specificity (97\% vs. 100\%, p = 0.50). In comparison to the junior radiologists, the CNN had a higher specificity and accuracy (97\% vs. 80\%, p <  0.001; 92\% vs. 77\%, p <  0.001). CNN assistance had no significant influence on their diagnostic performance and certainty. After self-training, the junior radiologists' specificity and accuracy improved and were comparable to that of the CNN. CONCLUSIONS Diagnostic performance of the CNN for differentiating high-flow from low-flow VM was comparable to that of expert radiologists. CNN did not significantly improve the simulated daily practice of junior radiologists, self-training was more effective.}, language = {en} } @misc{MeinikheimMendelProbstetal., author = {Meinikheim, Michael and Mendel, Robert and Probst, Andreas and Scheppach, Markus W. and Nagl, Sandra and Schnoy, Elisabeth and R{\"o}mmele, Christoph and Prinz, Friederike and Schlottmann, Jakob and Messmann, Helmut and Palm, Christoph and Ebigbo, Alanna}, title = {Einfluss von K{\"u}nstlicher Intelligenz auf die Performance von niedergelassenen Gastroenterolog:innen bei der Beurteilung von Barrett-{\"O}sophagus}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {61}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {8}, publisher = {Thieme}, address = {Stuttgart}, doi = {10.1055/s-0043-1771711}, abstract = {Einleitung Die Differenzierung zwischen nicht dysplastischem Barrett-{\"O}sophagus (NDBE) und mit Barrett-{\"O}sophagus assoziierten Neoplasien (BERN) w{\"a}hrend der endoskopischen Inspektion erfordert viel Expertise. Die fr{\"u}he Diagnosestellung ist wichtig f{\"u}r die weitere Prognose des Barrett-Karzinoms. In Deutschland werden Patient:innen mit einem Barrett-{\"O}sophagus (BE) in der Regel im niedergelassenen Sektor {\"u}berwacht. Ziele Ziel ist es, den Einfluss von einem auf K{\"u}nstlicher Intelligenz (KI) basierenden klinischen Entscheidungsunterst{\"u}tzungssystems (CDSS) auf die Performance von niedergelassenen Gastroenterolog:innen (NG) bei der Evaluation von Barrett-{\"O}sophagus (BE) zu untersuchen. Methodik Es erfolgte die prospektive Sammlung von 96 unver{\"a}nderten hochaufl{\"o}senden Videos mit F{\"a}llen von Patient:innen mit histologisch best{\"a}tigtem NDBE und BERN. Alle eingeschlossenen F{\"a}lle enthielten mindestens zwei der folgenden Darstellungsmethoden: HD-Weißlichtendoskopie, Narrow Band Imaging oder Texture and Color Enhancement Imaging. Sechs NG von sechs unterschiedlichen Praxen wurden als Proband:innen eingeschlossen. Es erfolgte eine permutierte Block-Randomisierung der Videof{\"a}lle in entweder Gruppe A oder Gruppe B. Gruppe A implizierte eine Evaluation des Falls durch Proband:innen zun{\"a}chst ohne KI und anschließend mit KI als CDSS. In Gruppe B erfolgte die Evaluation in umgekehrter Reihenfolge. Anschließend erfolgte eine zuf{\"a}llige Wiedergabe der so entstandenen Subgruppen im Rahmen des Tests. Ergebnis In diesem Test konnte ein von uns entwickeltes KI-System (Barrett-Ampel) eine Sensitivit{\"a}t von 92,2\%, eine Spezifit{\"a}t von 68,9\% und eine Accuracy von 81,3\% erreichen. Mit der Hilfe von KI verbesserte sich die Sensitivit{\"a}t der NG von 64,1\% auf 71,2\% (p<0,001) und die Accuracy von 66,3\% auf 70,8\% (p=0,006) signifikant. Eine signifikante Verbesserung dieser Parameter zeigte sich ebenfalls, wenn die Proband:innen die F{\"a}lle zun{\"a}chst ohne KI evaluierten (Gruppe A). Wurde der Fall jedoch als Erstes mit der Hilfe von KI evaluiert (Gruppe B), blieb die Performance nahezu konstant. Schlussfolgerung Es konnte ein performantes KI-System zur Evaluation von BE entwickelt werden. NG verbessern sich bei der Evaluation von BE durch den Einsatz von KI.}, language = {de} } @misc{ScheppachMendelProbstetal., author = {Scheppach, Markus W. and Mendel, Robert and Probst, Andreas and Nagl, Sandra and Meinikheim, Michael and Yip, Hon Chi and Lau, Louis Ho Shing and Chiu, Philip Wai Yan and Palm, Christoph and Messmann, Helmut and Ebigbo, Alanna}, title = {Effekt eines K{\"u}nstliche Intelligenz (KI) - Algorithmus auf die Gef{\"a}ßdetektion bei third space Endoskopien}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {61}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {08}, publisher = {Thieme}, address = {Stuttgart}, doi = {10.1055/s-0043-1771980}, pages = {e528-e529}, abstract = {Einleitung Third space Endoskopieprozeduren wie die endoskopische Submukosadissektion (ESD) und die perorale endoskopische Myotomie (POEM) sind technisch anspruchsvoll und gehen mit untersucherabh{\"a}ngigen Komplikationen wie Blutungen und Perforationen einher. Grund hierf{\"u}r ist die unabsichtliche Durchschneidung von submukosalen Blutgef{\"a}ßen ohne pr{\"a}emptive Koagulation. Ziele Die Forschungsfrage, ob ein KI-Algorithmus die intraprozedurale Gef{\"a}ßerkennung bei ESD und POEM unterst{\"u}tzen und damit Komplikationen wie Blutungen verhindern k{\"o}nnte, erscheint in Anbetracht des erfolgreichen Einsatzes von KI bei der Erkennung von Kolonpolypen interessant. Methoden Auf 5470 Einzelbildern von 59 third space Endoscopievideos wurden submukosale Blutgef{\"a}ße annotiert. Zusammen mit weiteren 179.681 nicht-annotierten Bildern wurde ein DeepLabv3+neuronales Netzwerk mit dem ECMT-Verfahren f{\"u}r semi-supervised learning trainiert, um Blutgef{\"a}ße in Echtzeit erkennen zu k{\"o}nnen. F{\"u}r die Evaluation wurde ein Videotest mit 101 Videoclips aus 15 vom Trainingsdatensatz separaten Prozeduren mit 200 vordefinierten Gef{\"a}ßen erstellt. Die Gef{\"a}ßdetektionsrate, -zeit und -dauer, definiert als der Prozentsatz an Einzelbildern eines Videos bezogen auf den Goldstandard, auf denen ein definiertes Gef{\"a}ß erkannt wurde, wurden erhoben. Acht erfahrene Endoskopiker wurden mithilfe dieses Videotests im Hinblick auf Gef{\"a}ßdetektion getestet, wobei eine H{\"a}lfte der Videos nativ, die andere H{\"a}lfte nach Markierung durch den KI-Algorithmus angesehen wurde. Ergebnisse Der mittlere Dice Score des Algorithmus f{\"u}r Blutgef{\"a}ße war 68\%. Die mittlere Gef{\"a}ßdetektionsrate im Videotest lag bei 94\% (96\% f{\"u}r ESD; 74\% f{\"u}r POEM). Die mediane Gef{\"a}ßdetektionszeit des Algorithmus lag bei 0,32 Sekunden (0,3 Sekunden f{\"u}r ESD; 0,62 Sekunden f{\"u}r POEM). Die mittlere Gef{\"a}ßdetektionsdauer lag bei 59,1\% (60,6\% f{\"u}r ESD; 44,8\% f{\"u}r POEM) des Goldstandards. Alle Endoskopiker hatten mit KI-Unterst{\"u}tzung eine h{\"o}here Gef{\"a}ßdetektionsrate als ohne KI. Die mittlere Gef{\"a}ßdetektionsrate ohne KI lag bei 56,4\%, mit KI bei 71,2\% (p<0.001). Schlussfolgerung KI-Unterst{\"u}tzung war mit einer statistisch signifikant h{\"o}heren Gef{\"a}ßdetektionsrate vergesellschaftet. Die mediane Gef{\"a}ßdetektionszeit von deutlich unter einer Sekunde sowie eine Gef{\"a}ßdetektionsdauer von gr{\"o}ßer 50\% des Goldstandards wurden f{\"u}r den klinischen Einsatz als ausreichend erachtet. In prospektiven Anwendungsstudien sollte der KI-Algorithmus auf klinische Relevanz getestet werden.}, language = {de} } @misc{ScheppachMendelMuzalyovaetal., author = {Scheppach, Markus W. and Mendel, Robert and Muzalyova, Anna and Rauber, David and Probst, Andreas and Nagl, Sandra and R{\"o}mmele, Christoph and Yip, Hon Chi and Lau, Louis Ho Shing and G{\"o}lder, Stefan Karl and Schmidt, Arthur and Kouladouros, Konstantinos and Abdelhafez, Mohamed and Walter, B. and Meinikheim, Michael and Chiu, Philip Wai Yan and Palm, Christoph and Messmann, Helmut and Ebigbo, Alanna}, title = {K{\"u}nstliche Intelligenz erh{\"o}ht die Gef{\"a}ßerkennung von Endoskopikern bei third space Endoskopie}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {62}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {09}, publisher = {Georg Thieme Verlag KG}, doi = {10.1055/s-0044-1790087}, pages = {e830}, abstract = {Einleitung: K{\"u}nstliche Intelligenz (KI)-Algorithmen unterst{\"u}tzen Endoskopiker bei der Erkennung und Charakterisierung von Kolonpolypen in der klinischen Praxis und f{\"u}hren zu einer Erh{\"o}hung der Adenomdetektionsrate. Auch bei therapeutischen Maßnahmen wie der endoskopischen Submukosadissektion (ESD) k{\"o}nne relevante anatomische Strukturen durch KI mit hoher Genauigkeit erkannt und im endoskopischen Bild in Echtzeit markiert werden. Der Effekt einer solchen Applikation auf die Gef{\"a}ßdetektion von Endoskopikern ist bislang nicht erforscht. Ziele: In dieser Studie wurde der Effekt eines KI-Algorithmus zur Echtzeit-Gef{\"a}ßmarkierung bei ESD auf die Gef{\"a}ßdetektionsrate von Endoskopikern untersucht. Methodik: 59 third space Endoskopievideos wurde aus der Datenbank des Universit{\"a}tsklinikums Augsburg extrahiert. Auf 5470 Einzelbildern dieser Untersuchungen wurde submukosale Blutgef{\"a}ße annotiert. Zusammen mit weiteren 179681 unmarkierten Bildern wurde ein DeepLabV3+ neuronales Netzwerk mit einer semi-supervised learning Methode darin trainiert, submukosale Blutgef{\"a}ße auf dem endoskopischen Bild zu erkennen und in Echtzeit einzuzeichnen. Anhand eines Videotests mit 101 Videoclips und 200 vordefinierten Blutgef{\"a}ßen wurden 19 Endoskopiker mit und ohne KI Unterst{\"u}tzung getestet. Ergebnis: Der Algorithmus erkannte in dem Videotest 93.5\% der Gef{\"a}ße in einer Detektionszeit von im Median 0,3 Sekunden. Die Gef{\"a}ßdetektionsrate von Endoskopikern erh{\"o}hte sich durch KI Unterst{\"u}tzung von 56,4\% auf 72,4\% (p<0.001). Die Gef{\"a}ßdetektionszeit reduzierte sich durch KI-Unterst{\"u}tzung von 6,7 auf 5.2 Sekunden (p<0.001). Der Algorithmus zeigte eine Rate an falsch positiven Detektionen in 4.5\% der Einzelbilder. Falsch positiv erkannte Strukturen wurde k{\"u}rzer detektiert, als richtig positive (0.7 und 6.0 Sekunden, p<0.001). Schlussfolgerung: KI Unterst{\"u}tzung f{\"u}hrte zu einer erh{\"o}hten Gef{\"a}ßdetektionsrate und schnelleren Gef{\"a}ßdetektionszeit von Endoskopikern. Ein m{\"o}glicher klinischer Effekt auf die intraprozedurale Komplikationsrate oder Operationszeit k{\"o}nnte in prospektiven Studien ermittelt werden.}, language = {de} } @misc{RoserMeinikheimMendeletal., author = {Roser, David and Meinikheim, Michael and Mendel, Robert and Palm, Christoph and Muzalyova, Anna and Rauber, David and R{\"u}ckert, Tobias and Parsa, Nasim and Byrne, Michael F. and Messmann, Helmut and Ebigbo, Alanna}, title = {Mensch-Maschine-Interaktion: Einfluss k{\"u}nstlicher Intelligenz auf das diagnostische Vertrauen von Endoskopikern bei der Beurteilung des Barrett-{\"O}sophagus}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {62}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {09}, publisher = {Georg Thieme Verlag KG}, doi = {10.1055/s-0044-1789656}, pages = {e575 -- e576}, abstract = {Ziele: Das Ziel der Studie war es, den Einfluss von KI auf die diagnostische Sicherheit (Konfidenzniveau) von Endoskopikern anhand von B{\"O}-Videos zu untersuchen und m{\"o}gliche Korrelationen mit der Untersuchungsqualit{\"a}t zu erforschen. Methodik: 22 Endoskopiker aus zw{\"o}lf Zentren mit unterschiedlicher Barrett-Erfahrung untersuchten 96 standardisierte Endoskopievideos. Die Untersucher wurden in Experten und Nicht-Experten eingeteilt und nach dem Zufallsprinzip f{\"u}r die Bewertung der Videos mit oder ohne KI eingeteilt. Die Teilnehmer wurden in zwei Gruppen aufgeteilt: Arm A bewertete zun{\"a}chst Videos ohne KI und dann mit KI, w{\"a}hrend Arm B die umgekehrte Reihenfolge einhielt. Die Untersucher hatten die Aufgabe, B{\"O}-assoziierte Neoplasien zu erkennen und ihr Konfidenzniveau sowohl mit als auch ohne KI auf einer Skala von 0 bis 9 anzugeben. Ergebnis: In Arm A erh{\"o}hte der Einsatz von KI das Konfidenzniveau bei beiden signifikant (p<0.001). Bemerkenswert ist, dass jedoch nur Nicht-Experten durch die KI eine signifikante Verbesserung der Sensitivit{\"a}t und Spezifit{\"a}t (p<0.001 bzw. p<0.05) erfuhren. W{\"a}hrend Experten ohne KI im Vergleich zu Nicht-Experten mit KI ein h{\"o}heres Konfidenzniveau aufwiesen, gab es keinen signifikanten Unterschied in der Genauigkeit. In Arm B zeigten beide Gruppen eine signifikante Abnahme des Konfidenzniveaus (p<0.001) bei gleichbleibender Genauigkeit. Dar{\"u}ber hinaus wurden in 9\% der Entscheidungen trotz korrekter KI eine falsche Wahl getroffen. Schlussfolgerung: Der Einsatz k{\"u}nstlicher Intelligenz steigerte das Konfidenzniveau sowohl bei Experten als auch bei Nicht-Experten signifikant - ein Effekt, der im Studienmodell reversibel war. Dar{\"u}ber hinaus wiesen Experten mit oder ohne KI durchweg h{\"o}here Konfidenzniveaus auf als Nicht-Experten mit KI, trotz vergleichbarer Ergebnisse. Zudem konnte beobachtet werden, dass die Untersucher in 9\% der F{\"a}lle die KI zuungunsten des Patienten ignorierten.}, language = {de} } @misc{ScheppachNunesArizietal., author = {Scheppach, Markus W. and Nunes, Danilo Weber and Arizi, X. and Rauber, David and Probst, Andreas and Nagl, Sandra and R{\"o}mmele, Christoph and Palm, Christoph and Messmann, Helmut and Ebigbo, Alanna}, title = {Intraoperative Phasenerkennung bei endoskopischer Submukosadissektion mit Hilfe von k{\"u}nstlicher Intelligenz}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {62}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {09}, publisher = {Georg Thieme Verlag KG}, doi = {10.1055/s-0044-1790084}, pages = {e828}, abstract = {Einleitung: K{\"u}nstliche Intelligenz (KI) wird in der Endoskopie des Gastrointestinaltraktes zur Erkennung und Charakterisierung von Kolonpolypen eingesetzt. Die Rolle von KI bei therapeutischen Maßnahmen wurde noch nicht eingehend untersucht. Eine intraprozedurale Phasenerkennung bei endoskopischer Submukoasdissektion (ESD) k{\"o}nnte die Erhebung von Qualit{\"a}tsindikatoren erm{\"o}glichen. Weiterhin k{\"o}nnte diese Technologie zu einem tieferen Verst{\"a}ndnis {\"u}ber die Eigenschaften der Prozedur f{\"u}hren und weiterf{\"u}hrende Applikationen zur automatischen Dokumentation oder standardisiertem Training vorbereiten. Ziele: Ziel dieser Studie war die Entwicklung eines KI Algorithmus zur intraprozeduralen Phasenerkennung bei endoskopischer Submukosadissektion. Methodik: 2071546 Einzelbilder aus 27 ESD Videos in voller L{\"a}nge wurden f{\"u}r die {\"u}bergeordneten Klassen Diagnostik, Markierung, Nadelinjektion, Dissektion und Blutung, sowie die untergeordneten Klassen Endoskop-Manipulation, Injektion und Applikation von elektrischem Strom annotiert. Mit einem Trainingsdatensatz (898440 Einzelbilder, 17 ESDs) wurde ein Video Swin Transformer mit uniformer Stichprobenentnahme trainiert und intern validiert (769523 Einzelbilder, 6 ESDs). Neben der internen Validierung wurde der Algorithmus anhand von einem separaten Testdatensatz (403583 Einzelbilder, 4 ESDs) evaluiert. Ergebnis: Der F1 Score des Algorithmus f{\"u}r alle Klassen lag in der internen Validierung bei 83\%, in dem separaten Test bei 90\%. Anhand des separaten Tests wurden true positive (TP)-Raten f{\"u}r Diagnostik, Markierung, Nadelinjektion, Dissektion und Blutung von 100\%, 100\%, 96\%, 97\% und 93\% ermittelt. F{\"u}r Endoskopmanipulation, Injektion und Applikation von Elektrizit{\"a}t lagen die TP-Raten bei 92\%, 98\% und 91\%. Schlussfolgerung: Der entwickelte Algorithmus klassifizierte ESD Videos in voller L{\"a}nge und anhand jedes einzelnen Bildes mit hoher Genauigkeit. Zuk{\"u}nftige Forschungsvorhaben k{\"o}nnten intraoperative Qualit{\"a}tsindikatioren auf Basis dieser Informationen entwickeln und eine automatisierte Dokumentation erm{\"o}glichen.}, language = {de} } @misc{ZellmerRauberProbstetal., author = {Zellmer, Stephan and Rauber, David and Probst, Andreas and Weber, Tobias and Nagl, Sandra and R{\"o}mmele, Christoph and Schnoy, Elisabeth and Palm, Christoph and Messmann, Helmut and Ebigbo, Alanna}, title = {Verwendung k{\"u}nstlicher Intelligenz bei der Detektion der Papilla duodeni major}, series = {Zeitschrift f{\"u}r Gastroenterologie}, volume = {61}, journal = {Zeitschrift f{\"u}r Gastroenterologie}, number = {08}, publisher = {Thieme}, address = {Stuttgart}, doi = {10.1055/s-0043-1772000}, pages = {e539 -- e540}, abstract = {Einleitung Die Endoskopische Retrograde Cholangiopankreatikographie (ERCP) ist der Goldstandard in der Diagnostik und Therapie von Erkrankungen des pankreatobili{\"a}ren Trakts. Jedoch ist sie technisch sehr anspruchsvoll und weist eine vergleichsweise hohe Komplikationsrate auf. Ziele In der vorliegenden Machbarkeitsstudie soll gepr{\"u}ft werden, ob mithilfe eines Deep-learning-Algorithmus die Papille und das Ostium zuverl{\"a}ssig detektiert werden k{\"o}nnen und somit f{\"u}r Endoskopiker mit geringer Erfahrung ein geeignetes Hilfsmittel, insbesondere f{\"u}r die Ausbildungssituation, darstellen k{\"o}nnten. Methodik Wir betrachteten insgesamt 606 Bilddatens{\"a}tze von 65 Patienten. In diesen wurde sowohl die Papilla duodeni major als auch das Ostium segmentiert. Anschließend wurde eine neuronales Netz mittels eines Deep-learning-Algorithmus trainiert. Außerdem erfolgte eine 5-fache Kreuzvaldierung. Ergebnisse Bei einer 5-fachen Kreuzvaldierung auf den 606 gelabelten Daten konnte f{\"u}r die Klasse Papille eine F1-Wert von 0,7908, eine Sensitivit{\"a}t von 0,7943 und eine Spezifit{\"a}t von 0,9785 erreicht werden, f{\"u}r die Klasse Ostium eine F1-Wert von 0,5538, eine Sensitivit{\"a}t von 0,5094 und eine Spezifit{\"a}t von 0,9970 (vgl. [Tab. 1]). Unabh{\"a}ngig von der Klasse zeigte sich gemittelt (Klasse Papille und Klasse Ostium) ein F1-Wert von 0,6673, eine Sensitivit{\"a}t von 0,6519 und eine Spezifit{\"a}t von 0,9877 (vgl. [Tab. 2]). Schlussfolgerung In vorliegende Machbarkeitsstudie konnte das neuronale Netz die Papilla duodeni major mit einer hohen Sensitivit{\"a}t und sehr hohen Spezifit{\"a}t identifizieren. Bei der Detektion des Ostiums war die Sensitivit{\"a}t deutlich geringer. Zuk{\"u}nftig soll das das neuronale Netz mit mehr Daten trainiert werden. Außerdem ist geplant, den Algorithmus auch auf Videos anzuwenden. Somit k{\"o}nnte langfristig ein geeignetes Hilfsmittel f{\"u}r die ERCP etabliert werden.}, language = {de} } @article{RueckertRauberMaerkletal., author = {Rueckert, Tobias and Rauber, David and Maerkl, Raphaela and Klausmann, Leonard and Yildiran, Suemeyye R. and Gutbrod, Max and Nunes, Danilo Weber and Moreno, Alvaro Fernandez and Luengo, Imanol and Stoyanov, Danail and Toussaint, Nicolas and Cho, Enki and Kim, Hyeon Bae and Choo, Oh Sung and Kim, Ka Young and Kim, Seong Tae and Arantes, Gon{\c{c}}alo and Song, Kehan and Zhu, Jianjun and Xiong, Junchen and Lin, Tingyi and Kikuchi, Shunsuke and Matsuzaki, Hiroki and Kouno, Atsushi and Manesco, Jo{\~a}o Renato Ribeiro and Papa, Jo{\~a}o Paulo and Choi, Tae-Min and Jeong, Tae Kyeong and Park, Juyoun and Alabi, Oluwatosin and Wei, Meng and Vercauteren, Tom and Wu, Runzhi and Xu, Mengya and Wang, An and Bai, Long and Ren, Hongliang and Yamlahi, Amine and Hennighausen, Jakob and Maier-Hein, Lena and Kondo, Satoshi and Kasai, Satoshi and Hirasawa, Kousuke and Yang, Shu and Wang, Yihui and Chen, Hao and Rodr{\´i}guez, Santiago and Aparicio, Nicol{\´a}s and Manrique, Leonardo and Palm, Christoph and Wilhelm, Dirk and Feussner, Hubertus and Rueckert, Daniel and Speidel, Stefanie and Nasirihaghighi, Sahar and Al Khalil, Yasmina and Li, Yiping and Arbel{\´a}ez, Pablo and Ayobi, Nicol{\´a}s and Hosie, Olivia and Lyons, Juan Camilo}, title = {Comparative validation of surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation in endoscopy: Results of the PhaKIR 2024 challenge}, series = {Medical Image Analysis}, volume = {109}, journal = {Medical Image Analysis}, publisher = {Elsevier}, issn = {1361-8415}, doi = {10.1016/j.media.2026.103945}, pages = {31}, abstract = {Reliable recognition and localization of surgical instruments in endoscopic video recordings are foundational for a wide range of applications in computer- and robot-assisted minimally invasive surgery (RAMIS), including surgical training, skill assessment, and autonomous assistance. However, robust performance under real-world conditions remains a significant challenge. Incorporating surgical context - such as the current procedural phase - has emerged as a promising strategy to improve robustness and interpretability. To address these challenges, we organized the Surgical Procedure Phase, Keypoint, and Instrument Recognition (PhaKIR) sub-challenge as part of the Endoscopic Vision (EndoVis) challenge at MICCAI 2024. We introduced a novel, multi-center dataset comprising thirteen full-length laparoscopic cholecystectomy videos collected from three distinct medical institutions, with unified annotations for three interrelated tasks: surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation. Unlike existing datasets, ours enables joint investigation of instrument localization and procedural context within the same data while supporting the integration of temporal information across entire procedures. We report results and findings in accordance with the BIAS guidelines for biomedical image analysis challenges. The PhaKIR sub-challenge advances the field by providing a unique benchmark for developing temporally aware, context-driven methods in RAMIS and offers a high-quality resource to support future research in surgical scene understanding.}, language = {en} } @misc{RueckertRauberKlausmannetal., author = {Rueckert, Tobias and Rauber, David and Klausmann, Leonard and Gutbrod, Max and Rueckert, Daniel and Feussner, Hubertus and Wilhelm, Dirk and Palm, Christoph}, title = {PhaKIR Dataset - Surgical Procedure Phase, Keypoint, and Instrument Recognition [Data set]}, doi = {10.5281/zenodo.15740620}, abstract = {Note: A script for extracting the individual frames from the video files while preserving the challenge-compliant directory structure and frame-to-mask naming conventions is available on GitHub and can be accessed here: https://github.com/remic-othr/PhaKIR_Dataset. The dataset is described in the following publications: Rueckert, Tobias et al.: Comparative validation of surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation in endoscopy: Results of the PhaKIR 2024 challenge. arXiv preprint, https://arxiv.org/abs/2507.16559. 2025. Rueckert, Tobias et al.: Video Dataset for Surgical Phase, Keypoint, and Instrument Recognition in Laparoscopic Surgery (PhaKIR). arXiv preprint, https://arxiv.org/abs/2511.06549. 2025. The proposed dataset was used as the training dataset in the PhaKIR challenge (https://phakir.re-mic.de/) as part of EndoVis-2024 at MICCAI 2024 and consists of eight real-world videos of human cholecystectomies ranging from 23 to 60 minutes in duration. The procedures were performed by experienced physicians, and the videos were recorded in three hospitals. In addition to existing datasets, our annotations provide pixel-wise instance segmentation masks of surgical instruments for a total of 19 categories, coordinates of relevant instrument keypoints (instrument tip(s), shaft-tip transition, shaft), both at an interval of one frame per second, and specifications regarding the intervention phases for a total of eight different phase categories for each individual frame in one dataset and thus comprehensively cover instrument localization and the context of the operation. Furthermore, the provision of the complete video sequences offers the opportunity to include the temporal information regarding the respective tasks and thus further optimize the resulting methods and outcomes.}, language = {en} }