TY - JOUR A1 - Maier, Johannes A1 - Weiherer, Maximilian A1 - Huber, Michaela A1 - Palm, Christoph T1 - Optically tracked and 3D printed haptic phantom hand for surgical training system JF - Quantitative Imaging in Medicine and Surgery N2 - Background: For surgical fixation of bone fractures of the human hand, so-called Kirschner-wires (K-wires) are drilled through bone fragments. Due to the minimally invasive drilling procedures without a view of risk structures like vessels and nerves, a thorough training of young surgeons is necessary. For the development of a virtual reality (VR) based training system, a three-dimensional (3D) printed phantom hand is required. To ensure an intuitive operation, this phantom hand has to be realistic in both, its position relative to the driller as well as in its haptic features. The softest 3D printing material available on the market, however, is too hard to imitate human soft tissue. Therefore, a support-material (SUP) filled metamaterial is used to soften the raw material. Realistic haptic features are important to palpate protrusions of the bone to determine the drilling starting point and angle. An optical real-time tracking is used to transfer position and rotation to the training system. Methods: A metamaterial already developed in previous work is further improved by use of a new unit cell. Thus, the amount of SUP within the volume can be increased and the tissue is softened further. In addition, the human anatomy is transferred to the entire hand model. A subcutaneous fat layer and penetration of air through pores into the volume simulate shiftability of skin layers. For optical tracking, a rotationally symmetrical marker attached to the phantom hand with corresponding reference marker is developed. In order to ensure trouble-free position transmission, various types of marker point applications are tested. Results: Several cuboid and forearm sample prints lead to a final 30 centimeter long hand model. The whole haptic phantom could be printed faultless within about 17 hours. The metamaterial consisting of the new unit cell results in an increased SUP share of 4.32%. Validated by an expert surgeon study, this allows in combination with a displacement of the uppermost skin layer a good palpability of the bones. Tracking of the hand marker in dodecahedron design works trouble-free in conjunction with a reference marker attached to the worktop of the training system. Conclusions: In this work, an optically tracked and haptically correct phantom hand was developed using dual-material 3D printing, which can be easily integrated into a surgical training system. KW - Handchirurgie KW - 3D-Druck KW - Lernprogramm KW - Zielverfolgung KW - HaptiVisT KW - Dual-material 3D printing KW - hand surgery training KW - metamaterial KW - tissue imitating phantom hand Y1 - 2020 U6 - https://doi.org/10.21037/qims.2019.12.03 N1 - Corresponding author: Christoph Palm VL - 10 IS - 02 SP - 340 EP - 455 PB - AME Publishing Company CY - Hong Kong, China ER - TY - JOUR A1 - Noisser, Vivien A1 - Eigenberger, Andreas A1 - Weiherer, Maximilian A1 - Seitz, Stephan A1 - Prantl, Lukas A1 - Brébant, Vanessa T1 - Surgery of congenital breast asymmetry - which objective parameter influences the subjective satisfaction with long-term results JF - Archives of Gynecology and Obstetrics N2 - Purpose Congenital breast asymmetry is a serious gynecological malformation for affected patients. The condition hits young women in puberty and is associated with socio-esthetic handicap, depression, and psychosexual problems. Surgical treatment is usually early in the patient's lifetime, so a long-term sustainable solution is important. Although postoperative outcome has been evaluated in several studies before, this study is the first to analyze which objective parameters have the greatest influence on subjective satisfaction with long-term results. Methods Thirty-four patients diagnosed with congenital breast asymmetry that underwent either lipofilling or implant therapy between the years of 2008 to 2019 were examined. On average, our collective comprised patients seven years after surgery. Data were mainly gathered through manual measurements, patient-reported outcome measures (Breast Q™), and breast volumetry based on 3D scans (Vectra® H2, Canfield Scientific). Results Among all analyzed parameters, only areolar diameter correlated significantly negatively with the subjective outcome satisfaction of the patient. Regarding the subjective assessment of postoperative satisfaction with similarity of the breasts, again the mean areolar diameter, but also the difference in areolar diameter and breast volume between the right and left breasts correlated significantly negatively. Conclusion Areolar diameter was revealed as being a significant factor influencing subjective long-term satisfaction in breast asymmetry patients. Moreover, 3D volumetry proves to be an effective tool to substantiate subjective patient assessments. Our findings may lead to further improvements to surgical planning and will be expanded in further studies. KW - Congenital breast asymmetry KW - Poland syndrome KW - Lipofilling KW - Silicone implant KW - 3D volumetry Y1 - 2021 U6 - https://doi.org/10.1007/s00404-021-06218-0 PB - Springer Nature ER - TY - CHAP A1 - Franz, Daniela A1 - Dreher, Maria A1 - Prinzen, Martin A1 - Teßmann, Matthias A1 - Palm, Christoph A1 - Katzky, Uwe A1 - Perret, Jerome A1 - Hofer, Mathias A1 - Wittenberg, Thomas T1 - CT-basiertes virtuelles Fräsen am Felsenbein BT - Bild- und haptischen Wiederholfrequenzen bei unterschiedlichen Rendering Methoden T2 - Bildverarbeitung für die Medizin 2018; Algorithmen - Systeme - Anwendungen. Proceedings des Workshops vom 11. bis 13. März 2018 in Erlangen N2 - Im Rahmen der Entwicklung eines haptisch-visuellen Trainingssystems für das Fräsen am Felsenbein werden ein Haptikarm und ein autostereoskopischer 3D-Monitor genutzt, um Chirurgen die virtuelle Manipulation von knöchernen Strukturen im Kontext eines sog. Serious Game zu ermöglichen. Unter anderem sollen Assistenzärzte im Rahmen ihrer Ausbildung das Fräsen am Felsenbein für das chirurgische Einsetzen eines Cochlea-Implantats üben können. Die Visualisierung des virtuellen Fräsens muss dafür in Echtzeit und möglichst realistisch modelliert, implementiert und evaluiert werden. Wir verwenden verschiedene Raycasting Methoden mit linearer und Nearest Neighbor Interpolation und vergleichen die visuelle Qualität und die Bildwiederholfrequenzen der Methoden. Alle verglichenen Verfahren sind sind echtzeitfähig, unterscheiden sich aber in ihrer visuellen Qualität. KW - Felsenbein KW - Fräsen KW - Virtualisierung KW - Computertomographie KW - Computerassistierte Chirurgie Y1 - 2018 SN - 978-3-662-56537-7 U6 - https://doi.org/10.1007/978-3-662-56537-7_51 SP - 176 EP - 181 PB - Springer CY - Berlin ER - TY - CHAP A1 - Maier, Johannes A1 - Huber, Michaela A1 - Katzky, Uwe A1 - Perret, Jerome A1 - Wittenberg, Thomas A1 - Palm, Christoph T1 - Force-Feedback-assisted Bone Drilling Simulation Based on CT Data T2 - Bildverarbeitung für die Medizin 2018; Algorithmen - Systeme - Anwendungen; Proceedings des Workshops vom 11. bis 13. März 2018 in Erlangen N2 - In order to fix a fracture using minimally invasive surgery approaches, surgeons are drilling complex and tiny bones with a 2 dimensional X-ray as single imaging modality in the operating room. Our novel haptic force-feedback and visual assisted training system will potentially help hand surgeons to learn the drilling procedure in a realistic visual environment. Within the simulation, the collision detection as well as the interaction between virtual drill, bone voxels and surfaces are important. In this work, the chai3d collision detection and force calculation algorithms are combined with a physics engine to simulate the bone drilling process. The chosen Bullet-Physics-Engine provides a stable simulation of rigid bodies, if the collision model of the drill and the tool holder is generated as a compound shape. Three haptic points are added to the K-wire tip for removing single voxels from the bone. For the drilling process three modes are proposed to emulate the different phases of drilling in restricting the movement of a haptic device. KW - Handchirurgie KW - Osteosynthese KW - Simulation KW - Lernprogramm Y1 - 2018 U6 - https://doi.org/10.1007/978-3-662-56537-7_78 SP - 291 EP - 296 PB - Springer CY - Berlin ER - TY - CHAP A1 - Eixelberger, Thomas A1 - Wittenberg, Thomas A1 - Perret, Jerome A1 - Katzky, Uwe A1 - Simon, Martina A1 - Schmitt-Rüth, Stephanie A1 - Hofer, Mathias A1 - Sorge, M. A1 - Jacob, R. A1 - Engel, Felix B. A1 - Gostian, A. A1 - Palm, Christoph A1 - Franz, Daniela T1 - A haptic model for virtual petrosal bone milling T2 - 17. Jahrestagung der Deutschen Gesellschaft für Computer- und Roboterassistierte Chirurgie (CURAC2018), Tagungsband, 2018, Leipzig, 13.-15. September N2 - Virtual training of bone milling requires realtime and realistic haptics of the interaction between the ”virtual mill” and a ”virtual bone”. We propose an exponential abrasion model between a virtual one and the mill bit and combine it with a coarse representation of the virtual bone and the mill shaft for collision detection using the Bullet Physics Engine. We compare our exponential abrasion model to a widely used linear abrasion model and evaluate it quantitatively and qualitatively. The evaluation results show, that we can provide virtual milling in real-time, with an abrasion behavior similar to that proposed in the literature and with a realistic feeling of five different surgeons. KW - Osteosynthese KW - Simulation KW - Lernprogramm Y1 - 2018 UR - https://www.curac.org/images/advportfoliopro/images/CURAC2018/CURAC 2018 Tagungsband.pdf VL - 17 SP - 214 EP - 219 ER - TY - CHAP A1 - Palm, Christoph A1 - Schanze, Thomas T1 - Biomedical Image and Signal Computing (BISC 2013) T2 - 58. Jahrestagung der Deutschen Gesellschaft für Medizinische Informatik, Biometrie und Epidemiologie e.V. (GMDS 2013), Lübeck, 01.-05.09.2013 Y1 - 2013 U6 - https://doi.org/doi:10.3205/13gmds257 N1 - Meeting Abstract IS - DocAbstr. 324 PB - German Medical Science GMS Publishing House CY - Düsseldorf ER - TY - JOUR A1 - Ebigbo, Alanna A1 - Mendel, Robert A1 - Probst, Andreas A1 - Manzeneder, Johannes A1 - Souza Jr., Luis Antonio de A1 - Papa, João Paulo A1 - Palm, Christoph A1 - Messmann, Helmut T1 - Computer-aided diagnosis using deep learning in the evaluation of early oesophageal adenocarcinoma JF - GuT N2 - Computer-aided diagnosis using deep learning (CAD-DL) may be an instrument to improve endoscopic assessment of Barrett’s oesophagus (BE) and early oesophageal adenocarcinoma (EAC). Based on still images from two databases, the diagnosis of EAC by CAD-DL reached sensitivities/specificities of 97%/88% (Augsburg data) and 92%/100% (Medical Image Computing and Computer-Assisted Intervention [MICCAI] data) for white light (WL) images and 94%/80% for narrow band images (NBI) (Augsburg data), respectively. Tumour margins delineated by experts into images were detected satisfactorily with a Dice coefficient (D) of 0.72. This could be a first step towards CAD-DL for BE assessment. If developed further, it could become a useful adjunctive tool for patient management. KW - Speiseröhrenkrebs KW - Diagnose KW - Computerunterstütztes Verfahren KW - Maschinelles Lernen Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:898-opus4-68 N1 - Corresponding authors: Alanna Ebigbo and Christoph Palm VL - 68 IS - 7 SP - 1143 EP - 1145 PB - British Society of Gastroenterology ER - TY - THES A1 - Maier, Johannes T1 - Entwicklung eines Haptisch und Visuell unterstützten Trainingssystems (HaptiVisT) für komplexe Knochenbohrungen in der minimalinvasiven Handchirurgie N2 - Eine gängige Operationsmethode, um Frakturen der menschlichen Hand nach einem Unfall zu korrigieren, ist eine Osteosynthese mit sogenannten Kirschnerdrähten (K-Drähten) zur Stabilisierung von Knochenfragmenten. Die Einführung dieser langen, dünnen und scharfen Drähte durch manuelles Bohren ist eine komplexe minimalinvasive Operation, bei der ein Chirurg nahezu ohne visuelle Orientierung und nur durch eine kleine Öffnung der Haut des Patienten arbeitet. Als Orientierungshilfe für die optimale Lage der K-Drähte bleibt dem Chirurgen lediglich eine zweidimensionale (2D)-Röntgendarstellung und das Ertasten von knöchernen Vorsprüngen auf der menschlichen Hand, um Verletzungen an Risikostrukturen (Nerven, Gefäße usw.), die im Weichteilgewebe der Hand eingebettet sind, zu vermeiden. Für eine sichere und fehlerfreie Durchführung einer K-Draht-Osteosynthese ist deswegen eine gründliche theoretische und praktische Ausbildung junger Chirurgen notwendig. Da traditionelle Trainingsmethoden zeitaufwendig, kostspielig, ethisch nicht korrekt und unzureichend realistisch sind, wird in dieser Arbeit ein innovativer, auf virtueller Realität (VR) basierender, Haptisch und Visuell unterstützter Trainingssimulator (HaptiVisT) für die Platzierung von K-Drähten entwickelt, der vor allem Handchirurgen mit Übungs- und Perfektionierungsbedarf dabei unterstützt, das Bohrverfahren in einer realistischen aber virtuellen Umgebung zu erlernen. Beim HaptiVisT-Prototypenaufbau werden reale Patientendaten segmentierter Volumendaten aus einer Computertomographie (CT) und einer Magnetresonanztomographie (MRT) im virtuellen, dreidimensionalen (3D) Raum auf einem 3D-Monitor visualisiert und für eine intuitive bimanuelle Haptik sowohl mit einem Kraftfeedback-Gerät für den Bohrprozess und einer 3D-gedruckten und optisch getrackten Phantomhand kombiniert. Die vorliegende Arbeit beschreibt zunächst alle verwendeten Hardwaregeräte, die C++-Softwareumgebung, aufgebaut auf Multithreading (gleichzeitige Ausführung mehrerer Anweisungsfolgen in einem Prozess), und die auf Oberflächen- und Volumenrendering basierte Visualisierung. Die Kollisionsdetektion zwischen Bohrer und Knochen im virtuellen Raum wird in zwei separate Ereignisse unterteilt: Kollisionen zwischen Objekten als Gesamtes (Simulation der Kollision über die gesamte Objektoberfläche) und Kollisionen zwischen einer K-Draht-Spitze und dem Knochenvolumen für die Entfernung kleiner Volumenelemente (Voxel). Das Herzstück des Trainingssystems bildet eine echtzeitfähige Bohrsimulation, die den gesamten Bohrprozess in eine endliche Anzahl logischer Unterprozesse gliedert und diese Zustände in einen endlichen Zustandsautomaten (FSM, engl.: Finite State Machine) zusammenfasst. Das Kraftfeedback während einer Bohrung wird mit sogenannten „Virtual Fixtures“ (abstrakten sensorischen Informationen) berechnet und über einen Haptikarm auf den Benutzer übertragen. Damit die Simulation der Realität entspricht, wird unter Zuhilfenahme eines experimentellen Aufbaus die reale Bohrgeschwindigkeit durch kortikale Knochen ermittelt. Anschließend werden ein Levelkonzept und alle im System verfügbaren Bohrunterstützungswerkzeuge, wie haptische Korridore als Goldstandard oder eine Röntgenbildsimulation, vorgestellt. Mit ihnen ist es möglich, ausgesuchte Operationsfälle in Level unterschiedlicher Schwierigkeit zu unterteilen und den Operationsvorgang qualitativ zu bewerten. Der 3D-Druck einer Phantomhand (realitätsnahe Nachbildung einer Patientenhand) mit realistischen haptischen Eigenschaften zum Ertasten von Knochenvorsprüngen wird über einen metamaterialbasierten Ansatz (Neuanordnung des Grundmaterials durch eine künstlich angelegte, sich wiederholende Struktur) realisiert, da das aktuell am Markt verfügbare 3D-Druckmaterial für den Druck menschlichen Weichteilgewebes zu hart ist. Die Echtzeitverfolgung der Phantomhand beruht auf einem mit einer Stereokamera optisch getrackten Marker in Form eines Dodekaeders (Körper mit zwölf Flächen). Abschließend wird das HaptiVisT-Gesamtsystem in drei und der 3D-Druck einer Phantomhand in zwei Expertenevaluationen ausführlich untersucht und ausgewertet. Das HaptiVisT-System versteht sich als notwendiges Komplement für den ersten und weltweit einzigen funktionsfähigen, kompakten Prototypen für virtuelle K-DrahtOsteosynthesen mit haptischen Kraftfeedback, der in Zukunft Chirurgen in Aus- und Weiterbildung an Kliniken oder Trainingszentren ein risikofreies, zeit- und ortsunabhängiges Training ermöglicht. Die Kernelemente dieser Arbeit sind: • Stereoskopische 3D-Darstellung von realen Patientendaten. • Bimanuelle Haptik aus haptischen Kraftfeedback des Bohrens verbunden mit einer optisch getrackten, haptisch korrekten und 3D-gedruckten Phantomhand. • Zuverlässige Kollisionsdetektion zwischen virtuellen Objekten als Grundlage für das Kraftfeedback und die Abtragung von Knochen. • Echtzeitfähige Bohrsimulation durch Reduzierung des Bohrprozesses auf logische Bohr-Teilprozesse kombiniert mit einer Virtual Fixtures basierten Kraftberechnung. Haptisch korrekte Phantome sind vor allem im medizinischen Training von hoher Relevanz und die Berechnung des Kraftfeedbacks beruht erstmals auf der performanten und stabilen Simulation von Bohr-Teilprozessen unter Verwendung von Virtual Fixtures. Der Prototyp wird von Experten durchgehend positiv bewertet und bietet nach deren Einschätzung einen hohen Mehrwert für das chirurgische Training. Zukünftige Arbeiten könnten den Lerneffekt durch das HaptiVisT-Trainingssystem in stichhaltigen Evaluationen mit jungen Medizinstudenten unter Vorhandensein einer Kontrollgruppe statistisch validieren. Bei Bestätigung dieses Lerneffekts ist eine Ausgründung als eigenständiges Unternehmen und Weiterentwicklung des Prototyps mit Ausweitung auf weitere chirurgische Bereiche wie Knie- oder Hüftchirurgie denkbar. Unter Zuhilfenahme von automatischer Segmentierung könnten in Zukunft akut zu behandelnde Brüche abgebildet, vorab einer tatsächlichen Operation geübt und anschließend komplikationslos unter reduzierter Operationszeit durchgeführt werden. KW - Medizinisches Trainingssystem KW - Virtual Reality KW - Minimalinvasive Handchirurgie Y1 - 2020 SN - 978-3-8440-7547-2 N1 - Titel verleihende Institution: Universität Regensburg PB - Shaker CY - Düren ER - TY - JOUR A1 - Wöhl, Rebecca A1 - Maier, Johannes A1 - Gehmert, Sebastian A1 - Palm, Christoph A1 - Riebschläger, Birgit A1 - Nerlich, Michael A1 - Huber, Michaela T1 - 3D Analysis of Osteosyntheses Material using semi-automated CT Segmentation BT - a case series of a 4 corner fusion plate JF - BMC Musculoskeletal Disorders N2 - Backround Scaphoidectomy and midcarpal fusion can be performed using traditional fixation methods like K-wires, staples, screws or different dorsal (non)locking arthrodesis systems. The aim of this study is to test the Aptus four corner locking plate and to compare the clinical findings to the data revealed by CT scans and semi-automated segmentation. Methods: This is a retrospective review of eleven patients suffering from scapholunate advanced collapse (SLAC) or scaphoid non-union advanced collapse (SNAC) wrist, who received a four corner fusion between August 2011 and July 2014. The clinical evaluation consisted of measuring the range of motion (ROM), strength and pain on a visual analogue scale (VAS). Additionally, the Disabilities of the Arm, Shoulder and Hand (QuickDASH) and the Mayo Wrist Score were assessed. A computerized tomography (CT) of the wrist was obtained six weeks postoperatively. After semi-automated segmentation of the CT scans, the models were post processed and surveyed. Results During the six-month follow-up mean range of motion (ROM) of the operated wrist was 60°, consisting of 30° extension and 30° flexion. While pain levels decreased significantly, 54% of grip strength and 89% of pinch strength were preserved compared to the contralateral healthy wrist. Union could be detected in all CT scans of the wrist. While X-ray pictures obtained postoperatively revealed no pathology, two user related technical complications were found through the 3D analysis, which correlated to the clinical outcome. Conclusion Due to semi-automated segmentation and 3D analysis it has been proved that the plate design can keep up to the manufacturers’ promises. Over all, this case series confirmed that the plate can compete with the coexisting techniques concerning clinical outcome, union and complication rate. KW - Handchirurgie KW - Osteosynthese KW - Arthrodese KW - 4FC KW - SLAC wrist KW - SNAC wrist KW - Semi-automated segmentation KW - 3D analysis KW - Computertomographie KW - Bildsegmentierung KW - Dreidimensionale Bildverarbeitung Y1 - 2018 U6 - https://doi.org/10.1186/s12891-018-1975-0 VL - 19 SP - 1 EP - 8 PB - Springer Nature ER - TY - GEN A1 - Scheppach, Markus W. A1 - Mendel, Robert A1 - Probst, Andreas A1 - Rauber, David A1 - Rückert, Tobias A1 - Meinikheim, Michael A1 - Palm, Christoph A1 - Messmann, Helmut A1 - Ebigbo, Alanna T1 - Real-time detection and delineation of tissue during third-space endoscopy using artificial intelligence (AI) T2 - Endoscopy N2 - Aims  AI has proven great potential in assisting endoscopists in diagnostics, however its role in therapeutic endoscopy remains unclear. Endoscopic submucosal dissection (ESD) is a technically demanding intervention with a slow learning curve and relevant risks like bleeding and perforation. Therefore, we aimed to develop an algorithm for the real-time detection and delineation of relevant structures during third-space endoscopy. Methods  5470 still images from 59 full length videos (47 ESD, 12 POEM) were annotated. 179681 additional unlabeled images were added to the training dataset. Consequently, a DeepLabv3+ neural network architecture was trained with the ECMT semi-supervised algorithm (under review elsewhere). Evaluation of vessel detection was performed on a dataset of 101 standardized video clips from 15 separate third-space endoscopy videos with 200 predefined blood vessels. Results  Internal validation yielded an overall mean Dice score of 85% (68% for blood vessels, 86% for submucosal layer, 88% for muscle layer). On the video test data, the overall vessel detection rate (VDR) was 94% (96% for ESD, 74% for POEM). The median overall vessel detection time (VDT) was 0.32 sec (0.3 sec for ESD, 0.62 sec for POEM). Conclusions  Evaluation of the developed algorithm on a video test dataset showed high VDR and quick VDT, especially for ESD. Further research will focus on a possible clinical benefit of the AI application for VDR and VDT during third-space endoscopy. KW - Speiseröhrenkrankheit KW - Künstliche Intelligenz KW - Artificial Intelligence Y1 - 2023 U6 - https://doi.org/10.1055/s-0043-1765128 VL - 55 IS - S02 SP - S53 EP - S54 PB - Thieme ER - TY - CHAP A1 - Franz, Daniela A1 - Katzky, Uwe A1 - Neumann, Sabine A1 - Perret, Jerome A1 - Hofer, Mathias A1 - Huber, Michaela A1 - Schmitt-Rüth, Stephanie A1 - Haug, Sonja A1 - Weber, Karsten A1 - Prinzen, Martin A1 - Palm, Christoph A1 - Wittenberg, Thomas T1 - Haptisches Lernen für Cochlea Implantationen BT - Konzept - HaptiVisT Projekt T2 - 15. Jahrestagung der Deutschen Gesellschaft für Computer- und Roboterassistierte Chirurgie (CURAC2016), Tagungsband, 2016, Bern, 29.09. - 01.10. N2 - Die Implantation eines Cochlea Implantates benötigt einen chirurgischen Zugang im Felsenbein und durch die Paukenhöhle des Patienten. Der Chirurg hat eine eingeschränkte Sicht im Operationsgebiet, die weiterhin viele Risikostrukturen enthält. Um eine Cochlea Implantation sicher und fehlerfrei durchzuführen, ist eine umfangreiche theoretische und praktische (teilweise berufsbegleitende) Fortbildung sowie langjährige Erfahrung notwendig. Unter Nutzung von realen klinischen CT/MRT Daten von Innen- und Mittelohr und der interaktiven Segmentierung der darin abgebildeten Strukturen (Nerven, Cochlea, Gehörknöchelchen,...) wird im HaptiVisT Projekt ein haptisch-visuelles Trainingssystem für die Implantation von Innen- und Mittelohr-Implantaten realisiert, das als sog. „Serious Game“ mit immersiver Didaktik gestaltet wird. Die Evaluierung des Demonstrators hinsichtlich Zweckmäßigkeit erfolgt prozessbegleitend und ergebnisorientiert, um mögliche technische oder didaktische Fehler vor Fertigstellung des Systems aufzudecken. Drei zeitlich versetzte Evaluationen fokussieren dabei chirurgisch-fachliche, didaktische sowie haptisch-ergonomische Akzeptanzkriterien. KW - Virtuelles Training KW - Haptisches Feedback KW - Gamification in der Medizin KW - Cochlea-Implantat KW - Operationstechnik KW - Simulation KW - Haptische Feedback-Technologie KW - Lernprogramm Y1 - 2016 UR - https://curac.org/images/advportfoliopro/images/CURAC2016/CURAC%202016%20Tagungsband.pdf SP - 21 EP - 26 ER - TY - CHAP A1 - Souza Jr., Luis Antonio de A1 - Hook, Christian A1 - Papa, João Paulo A1 - Palm, Christoph T1 - Barrett's Esophagus Analysis Using SURF Features T2 - Bildverarbeitung für die Medizin 2017; Algorithmen - Systeme - Anwendungen. Proceedings des Workshops vom 12. bis 14. März 2017 in Heidelberg N2 - The development of adenocarcinoma in Barrett’s esophagus is difficult to detect by endoscopic surveillance of patients with signs of dysplasia. Computer assisted diagnosis of endoscopic images (CAD) could therefore be most helpful in the demarcation and classification of neoplastic lesions. In this study we tested the feasibility of a CAD method based on Speeded up Robust Feature Detection (SURF). A given database containing 100 images from 39 patients served as benchmark for feature based classification models. Half of the images had previously been diagnosed by five clinical experts as being ”cancerous”, the other half as ”non-cancerous”. Cancerous image regions had been visibly delineated (masked) by the clinicians. SURF features acquired from full images as well as from masked areas were utilized for the supervised training and testing of an SVM classifier. The predictive accuracy of the developed CAD system is illustrated by sensitivity and specificity values. The results based on full image matching where 0.78 (sensitivity) and 0.82 (specificity) were achieved, while the masked region approach generated results of 0.90 and 0.95, respectively. KW - Speiseröhrenkrankheit KW - Diagnose KW - Maschinelles Sehen KW - Automatische Klassifikation Y1 - 2017 U6 - https://doi.org/10.1007/978-3-662-54345-0_34 SP - 141 EP - 146 PB - Springer CY - Berlin ER - TY - CHAP A1 - Mendel, Robert A1 - Ebigbo, Alanna A1 - Probst, Andreas A1 - Messmann, Helmut A1 - Palm, Christoph T1 - Barrett’s Esophagus Analysis Using Convolutional Neural Networks T2 - Bildverarbeitung für die Medizin 2017; Algorithmen - Systeme - Anwendungen. Proceedings des Workshops vom 12. bis 14. März 2017 in Heidelberg N2 - We propose an automatic approach for early detection of adenocarcinoma in the esophagus. High-definition endoscopic images (50 cancer, 50 Barrett) are partitioned into a dataset containing approximately equal amounts of patches showing cancerous and non-cancerous regions. A deep convolutional neural network is adapted to the data using a transfer learning approach. The final classification of an image is determined by at least one patch, for which the probability being a cancer patch exceeds a given threshold. The model was evaluated with leave one patient out cross-validation. With sensitivity and specificity of 0.94 and 0.88, respectively, our findings improve recently published results on the same image data base considerably. Furthermore, the visualization of the class probabilities of each individual patch indicates, that our approach might be extensible to the segmentation domain. KW - Speiseröhrenkrebs KW - Diagnose KW - Maschinelles Lernen KW - Bilderkennung KW - Automatische Klassifikation Y1 - 2017 U6 - https://doi.org/10.1007/978-3-662-54345-0_23 SP - 80 EP - 85 PB - Springer CY - Berlin ER - TY - JOUR A1 - Souza Jr., Luis Antonio de A1 - Passos, Leandro A. A1 - Santana, Marcos Cleison S. A1 - Mendel, Robert A1 - Rauber, David A1 - Ebigbo, Alanna A1 - Probst, Andreas A1 - Messmann, Helmut A1 - Papa, João Paulo A1 - Palm, Christoph T1 - Layer-selective deep representation to improve esophageal cancer classification JF - Medical & Biological Engineering & Computing N2 - Even though artificial intelligence and machine learning have demonstrated remarkable performances in medical image computing, their accountability and transparency level must be improved to transfer this success into clinical practice. The reliability of machine learning decisions must be explained and interpreted, especially for supporting the medical diagnosis.For this task, the deep learning techniques’ black-box nature must somehow be lightened up to clarify its promising results. Hence, we aim to investigate the impact of the ResNet-50 deep convolutional design for Barrett’s esophagus and adenocarcinoma classification. For such a task, and aiming at proposing a two-step learning technique, the output of each convolutional layer that composes the ResNet-50 architecture was trained and classified for further definition of layers that would provide more impact in the architecture. We showed that local information and high-dimensional features are essential to improve the classification for our task. Besides, we observed a significant improvement when the most discriminative layers expressed more impact in the training and classification of ResNet-50 for Barrett’s esophagus and adenocarcinoma classification, demonstrating that both human knowledge and computational processing may influence the correct learning of such a problem. KW - Multistep training KW - Barrett’s esophagus detection KW - Convolutional neural networks KW - Deep learning Y1 - 2024 U6 - https://doi.org/10.1007/s11517-024-03142-8 VL - 62 SP - 3355 EP - 3372 PB - Springer Nature CY - Heidelberg ER - TY - JOUR A1 - Ebigbo, Alanna A1 - Mendel, Robert A1 - Probst, Andreas A1 - Meinikheim, Michael A1 - Byrne, Michael F. A1 - Messmann, Helmut A1 - Palm, Christoph T1 - Multimodal imaging for detection and segmentation of Barrett’s esophagus-related neoplasia using artificial intelligence JF - Endoscopy N2 - The early diagnosis of cancer in Barrett’s esophagus is crucial for improving the prognosis. However, identifying Barrett’s esophagus-related neoplasia (BERN) is challenging, even for experts [1]. Four-quadrant biopsies may improve the detection of neoplasia, but they can be associated with sampling errors. The application of artificial intelligence (AI) to the assessment of Barrett’s esophagus could improve the diagnosis of BERN, and this has been demonstrated in both preclinical and clinical studies [2] [3]. In this video demonstration, we show the accurate detection and delineation of BERN in two patients ([Video 1]). In part 1, the AI system detects a mucosal cancer about 20 mm in size and accurately delineates the lesion in both white-light and narrow-band imaging. In part 2, a small island of BERN with high-grade dysplasia is detected and delineated in white-light, narrow-band, and texture and color enhancement imaging. The video shows the results using a transparent overlay of the mucosal cancer in real time as well as a full segmentation preview. Additionally, the optical flow allows for the assessment of endoscope movement, something which is inversely related to the reliability of the AI prediction. We demonstrate that multimodal imaging can be applied to the AI-assisted detection and segmentation of even small focal lesions in real time. KW - Video KW - Artificial Intelligence KW - Multimodal Imaging Y1 - 2022 U6 - https://doi.org/10.1055/a-1704-7885 VL - 54 IS - 10 PB - Georg Thieme Verlag CY - Stuttgart ET - E-Video ER -