TY - GEN A1 - Scheppach, Markus W. A1 - Weber Nunes, Danilo A1 - Arizi, X. A1 - Rauber, David A1 - Probst, Andreas A1 - Nagl, Sandra A1 - Römmele, Christoph A1 - Palm, Christoph A1 - Messmann, Helmut A1 - Ebigbo, Alanna T1 - Single frame workflow recognition during endoscopic submucosal dissection (ESD) using artificial intelligence (AI) T2 - Endoscopy N2 - Aims  Precise surgical phase recognition and evaluation may improve our understanding of complex endoscopic procedures. Furthermore, quality control measurements and endoscopy training could benefit from objective descriptions of surgical phase distributions. Therefore, we aimed to develop an artificial intelligence algorithm for frame-by-frame operational phase recognition during endoscopic submucosal dissection (ESD). Methods  Full length ESD-videos from 31 patients comprising 6.297.782 single images were collected retrospectively. Videos were annotated on a frame-by-frame basis for the operational macro-phases diagnostics, marking, injection, dissection and bleeding. Further subphases were the application of electrical current, visible injection of fluid into the submucosal space and scope manipulation, leading to 11 phases in total. 4.975.699 frames (21 patients) were used for training of a video swin transformer using uniform frame sampling for temporal information. Hyperparameter tuning was performed with 897.325 further frames (6 patients), while 424.758 frames (4 patients) were used for validation. Results  The overall F1 scores on the test dataset for the macro-phases and all 11 phases were 0.96 and 0.90, respectively. The recall values for diagnostics, marking, injection, dissection and bleeding were 1.00, 1.00, 0.95, 0.96 and 0.93, respectively. Conclusions  The algorithm classified operational phases during ESD with high accuracy. A precise evaluation of phase distribution may allow for the development of objective quality metrics for quality control and training. Y1 - 2025 U6 - https://doi.org/10.1055/s-0045-1806324 VL - 57 IS - S 02 SP - S511 PB - Thieme CY - Stuttgart ER - TY - JOUR A1 - Roser, David A1 - Meinikheim, Michael A1 - Muzalyova, Anna A1 - Mendel, Robert A1 - Palm, Christoph A1 - Probst, Andreas A1 - Nagl, Sandra A1 - Scheppach, Markus W. A1 - Römmele, Christoph A1 - Schnoy, Elisabeth A1 - Parsa, Nasim A1 - Byrne, Michael F. A1 - Messmann, Helmut A1 - Ebigbo, Alanna T1 - Artificial intelligence-assisted endoscopy and examiner confidence : a study on human–artificial intelligence interaction in Barrett's Esophagus (With Video) JF - DEN Open N2 - Objective Despite high stand-alone performance, studies demonstrate that artificial intelligence (AI)-supported endoscopic diagnostics often fall short in clinical applications due to human-AI interaction factors. This video-based trial on Barrett's esophagus aimed to investigate how examiner behavior, their levels of confidence, and system usability influence the diagnostic outcomes of AI-assisted endoscopy. Methods The present analysis employed data from a multicenter randomized controlled tandem video trial involving 22 endoscopists with varying degrees of expertise. Participants were tasked with evaluating a set of 96 endoscopic videos of Barrett's esophagus in two distinct rounds, with and without AI assistance. Diagnostic confidence levels were recorded, and decision changes were categorized according to the AI prediction. Additional surveys assessed user experience and system usability ratings. Results AI assistance significantly increased examiner confidence levels (p < 0.001) and accuracy. Withdrawing AI assistance decreased confidence (p < 0.001), but not accuracy. Experts consistently reported higher confidence than non-experts (p < 0.001), regardless of performance. Despite improved confidence, correct AI guidance was disregarded in 16% of all cases, and 9% of initially correct diagnoses were changed to incorrect ones. Overreliance on AI, algorithm aversion, and uncertainty in AI predictions were identified as key factors influencing outcomes. The System Usability Scale questionnaire scores indicated good to excellent usability, with non-experts scoring 73.5 and experts 85.6. Conclusions Our findings highlight the pivotal function of examiner behavior in AI-assisted endoscopy. To fully realize the benefits of AI, implementing explainable AI, improving user interfaces, and providing targeted training are essential. Addressing these factors could enhance diagnostic accuracy and confidence in clinical practice. Y1 - 2025 U6 - https://doi.org/10.1002/deo2.70150 VL - 6 IS - 1 PB - Wiley ER - TY - JOUR A1 - Scheppach, Markus W. A1 - Mendel, Robert A1 - Muzalyova, Anna A1 - Rauber, David A1 - Probst, Andreas A1 - Nagl, Sandra A1 - Römmele, Christoph A1 - Yip, Hon Chi A1 - Lau, Louis Ho Shing A1 - Gölder, Stefan Karl A1 - Schmidt, Arthur A1 - Kouladouros, Konstantinos A1 - Abdelhafez, Mohamed A1 - Walter, Benjamin M. A1 - Meinikheim, Michael A1 - Chiu, Philip Wai Yan A1 - Palm, Christoph A1 - Messmann, Helmut A1 - Ebigbo, Alanna T1 - Artificial intelligence improves submucosal vessel detection during third space endoscopy JF - Endoscopy N2 - Background and study aims: While artificial intelligence (AI) shows high potential in decision support for diagnostic gastrointestinal endoscopy, its role in therapeutic endoscopy remains unclear. Third space endoscopic procedures pose the risk of intraprocedural bleeding. Therefore, we aimed to develop an AI algorithm for intraprocedural blood vessel detection. Patients and Methods: Using a test dataset with 101 standardized video clips containing 200 predefined submucosal blood vessels, 19 endoscopists were evaluated for the vessel detection rate (VDR) and time (VDT) with and without support of an AI algorithm. Test subjects were grouped according to experience in ESD. Results: With AI support, endoscopists VDR increased from 56.4% [CI 54.1–58.6] to 72.4% [CI 70.3–74.4]. Endoscopists‘ VDT dropped from 6.7sec [CI 6.2-7.1] to 5.2sec [CI 4.8-5.7]. False positive (FP) readings appeared in 4.5% of frames and were marked significantly shorter than true positives (6.0sec [CI 5.28-6.70] vs. 0.7sec [CI 0.55-0.87]). Conclusions: AI improved the vessel detection rate and time of endoscopists during third space endoscopy. While these data need to be corroborated by clinical trials, AI may prove to be an invaluable tool for the improvement of endoscopic interventions. KW - Artificial Intelligence KW - Third Space Endoscopy Y1 - 2025 U6 - https://doi.org/10.1055/a-2534-1164 PB - Thieme CY - Stuttgart ER - TY - GEN A1 - Scheppach, Markus W. A1 - Weber Nunes, Danilo A1 - Rauber, David A1 - Arizi, X. A1 - Probst, Andreas A1 - Nagl, Sandra A1 - Römmele, Christoph A1 - Ebigbo, Alanna A1 - Palm, Christoph A1 - Messmann, Helmut T1 - Künstliche Intelligenz-basierte Erkennung von interventionellen Phasen bei der endoskopischen Submukosadissektion T2 - Zeitschrift für Gastroenterologie N2 - Einleitung: Die endoskopische Submukosadissektion (ESD) ist ein komplexes endoskopisches Verfahren, das technische Expertise erfordert. Objektive Methoden zur Analyse von interventionellen Abläufen bei ESD könnten für Qualitätssicherung und Ausbildung, wie auch eine automatische Befunderstellung von Nutzen sein. Ziele: In dieser Studie wurde ein KI-Algorithmus für die Erkennung und Klassifizierung der interventionellen Phasen der ESD entwickelt, um die technische Basis für eine standardisierte Leistungsbewertung und automatische Befunderstellung zu schaffen. Methodik: Vollständige ESD-Videoaufnahmen von 49 Patienten wurden retrospektiv zusammengestellt. Der Datensatz umfasste 6.390.151 Einzelbilder, die alle für die folgenden interventionellen Phasen annotiert wurden: Diagnostik, Markierung, Injektion, Dissektion und Hämostase. 3.973.712 Bilder (28 Patienten) wurden für das Training eines Video-Swin-Transformers genutzt. Dabei wurde temporale Information durch standardisierte BIldextraktion in festgelegten zeitlichen Abständen zum analysierten Bild inkorporiert. 2.416.439 separate Bilder (21 Patienten) wurden für eine interne Validierung genutzt. Ergebnis: Bei der internen Evaluation erreichte das System insgesamt einen F1-Wert von 0,88. Es wurden F1-Werte von 0,99, 0,89, 0,89, 0,91 und 0,52 für Diagnostik, Markierung, Injektion, Dissektion bzw. Blutungsmanagement gemessen. Die Sensitivitäten für dieselben Parameter betrugen 1,00, 0,80, 0,94, 0,89 und 0,67, die Spezifitäten lagen bei 1,00, 1,00, 0,98, 0,88 und 0,93. Positive prädiktive Werte wurden mit 0,98, 1,00, 0,85, 0,94 und 0,43 gemessen. Schlussfolgerung: In dieser vorläufigen Studie zeigte ein KI-Algorithmus eine hohe Leistungsfähigkeit für die Einzelbild-Erkennung von Verfahrensphasen während der ESD. Die vergleichsweise niedrige Leistung für die Blutungsphase wurde auf das seltene Auftreten von Blutungsepisoden im Trainingsdatensatz zurückgeführt, der zu diesem Zeitpunkt nur Videos in voller Länge umfasste. Die zukünftige Entwicklung des Algorithmus wird sich auf die Reduzierung von Klassenungleichgewichten durch selektive Annotationsprotokolle konzentrieren. Y1 - 2025 U6 - https://doi.org/10.1055/s-0045-1811093 VL - 63 IS - 08 SP - e612 EP - e613 PB - Thieme CY - Stuttgart ER - TY - GEN A1 - Scheppach, Markus W. A1 - Rauber, David A1 - Zingler, C. A1 - Weber Nunes, Danilo A1 - Probst, Andreas A1 - Römmele, Christoph A1 - Nagl, Sandra A1 - Ebigbo, Alanna A1 - Palm, Christoph A1 - Messmann, Helmut T1 - Instrumentenerkennung während der endoskopischen Submukosadissektion mittels künstlicher Intelligenz T2 - Zeitschrift für Gastroenterologie N2 - Einleitung: Die endoskopische Submukosadissektion (ESD) ist eine komplexe Technik zur Resektion gastrointestinaler Frühneoplasien. Dabei werden für die verschiedenen Schritte der Intervention spezifische endoskopische Instrumente verwendet. Die präzise und automatische Erkennung und Abgrenzung der verwendeten Instrumente (Injektionsnadeln, elektrochirurgische Messer mit unterschiedlichen Konfigurationen, hämostatische Zangen) könnte wertvolle Informationen über den Fortschritt und die Verfahrensmerkmale der ESD liefern und eine automatische standardisierte Berichterstattung ermöglichen. Ziele: Ziel dieser Studie war die Entwicklung eines KI-Algorithmus zur Erkennung und Delineation von endoskopischen Instrumenten bei der ESD. Methodik: 17 ESD-Videos (9×rektal, 5×ösophageal, 3×gastrisch) wurden retrospektiv zusammengestellt. Auf 8530 Einzelbilder dieser Videos wurden durch 2 Studienmitarbeiter die folgenden Klassen eingezeichnet: Hakenmesser – Spitze, Hakenmesser – Katheter, Nadelmesser – Spitze und – Katheter, Injektionsnadel -Spitze und – Katheter sowie hämostatische Zange – Spitze und – Katheter. Der annotierte Datensatz wurde zum Training eines DeepLabV3+-Deep-Learning-Algorithmus mit ConvNeXt-Backbone zur Erkennung und Abgrenzung der genannten Klassen verwendet. Die Evaluation erfolgte durch 5-fache interne Kreuzvalidierung. Ergebnis: Die Validierung auf Einzelpixelbasis ergab insgesamt einen F1-Score von 0,80, eine Sensitivität von 0,81 und eine Spezifität von 1,00. Es wurden F1-Scores von 1,00, 0,97, 0,80, 0,98, 0,85, 0,97, 0,80, 0,51 bzw. 0,85 für die Klassen Hakenmesser – Katheter und – Spitze, Nadelmesser – Katheter und – Spitze, Injektionsnadel – Katheter und – Spitze, hämostatische Zange – Katheter und – Spitze gemessen. Schlussfolgerung: In dieser Studie wurden die wichtigsten endoskopischen Instrumente, die während der ESD verwendet werden, mit hoher Genauigkeit erkannt. Die geringere Leistung bei der hämostatische Zange – Katheter kann auf die Unterrepräsentation dieser Klassen in den Trainingsdaten zurückgeführt werden. Zukünftige Studien werden sich auf die Erweiterung der Instrumentenklassen sowie auf die Ausbalancierung der Trainingsdaten konzentrieren. Y1 - 2025 U6 - https://doi.org/10.1055/s-0045-1811092 VL - 63 IS - 8 PB - Thieme ER -