Refine
Document Type
Has Fulltext
- no (4)
Is part of the Bibliography
- no (4)
Keywords
Institute
Begutachtungsstatus
- begutachtet (1)
- peer-reviewed (1)
Reliable recognition and localization of surgical instruments in endoscopic video recordings are foundational for a wide range of applications in computer- and robot-assisted minimally invasive surgery (RAMIS), including surgical training, skill assessment, and autonomous assistance. However, robust performance under real-world conditions remains a significant challenge. Incorporating surgical context - such as the current procedural phase - has emerged as a promising strategy to improve robustness and interpretability. To address these challenges, we organized the Surgical Procedure Phase, Keypoint, and Instrument Recognition (PhaKIR) sub-challenge as part of the Endoscopic Vision (EndoVis) challenge at MICCAI 2024. We introduced a novel, multi-center dataset comprising thirteen full-length laparoscopic cholecystectomy videos collected from three distinct medical institutions, with unified annotations for three interrelated tasks: surgical phase recognition, instrument keypoint estimation, and instrument instance segmentation. Unlike existing datasets, ours enables joint investigation of instrument localization and procedural context within the same data while supporting the integration of temporal information across entire procedures. We report results and findings in accordance with the BIAS guidelines for biomedical image analysis challenges. The PhaKIR sub-challenge advances the field by providing a unique benchmark for developing temporally aware, context-driven methods in RAMIS and offers a high-quality resource to support future research in surgical scene understanding.
Hintergrund: Die Entwicklung assistiver Technologien wird in den kommenden Jahren nicht nur in der Chirurgie von zunehmender Bedeutung sein. Die Wahrnehmung der Istsituation stellt hierbei die Grundlage jeder autonomen Handlung dar. Hierfür können unterschiedliche Sensorsysteme genutzt werden, wobei videobasierte Systeme ein besonderes Potenzial aufweisen.
Methode: Anhand von Literaturangaben und auf Basis eigener Forschungsarbeiten werden zentrale Aspekte bildbasierter Unterstützungssysteme für die Chirurgie dargestellt. Hierbei wird deren Potenzial, aber auch die Limitationen der Methoden erläutert.
Ergebnisse: Eine etablierte Anwendung stellt die Phasendetektion chirurgischer Eingriffe dar, für die Operationsvideos mittels neuronaler Netzwerke analysiert werden. Durch eine zeitlich gestützte und transformative Analyse konnten die Ergebnisse der Prädiktion jüngst deutlich verbessert werden. Aber auch robotische Kameraführungssysteme nutzen Bilddaten, um das Laparoskop zukünftig autonom zu navigieren. Um die Zuverlässigkeit an die hohen Anforderungen in der Chirurgie anzugleichen, müssen diese jedoch durch zusätzliche Informationen ergänzt werden. Ein vergleichbarer multimodaler Ansatz wurde bereits für die Navigation und Lokalisation bei laparoskopischen Eingriffen umgesetzt. Hierzu werden Videodaten mittels verschiedener Methoden analysiert und diese Ergebnisse mit anderen Sensormodalitäten fusioniert.
Diskussion: Bildbasierte Unterstützungsmethoden sind bereits für diverse Aufgaben verfügbar und stellen einen wichtigen Aspekt für die Chirurgie der Zukunft dar. Um hier jedoch zuverlässig und für autonome Funktionen eingesetzt werden zu können, müssen sie zukünftig in multimodale Ansätze eingebettet werden, um die erforderliche Sicherheit bieten zu können.
Heavy smoke development represents an important challenge for operating physicians during laparoscopic procedures and can potentially affect the success of an intervention due to reduced visibility and orientation. Reliable and accurate recognition of smoke is therefore a prerequisite for the use of downstream systems such as automated smoke evacuation systems. Current approaches distinguish between non-smoked and smoked frames but often ignore the temporal context inherent in endoscopic video data. In this work, we therefore present a method that utilizes the pixel-wise displacement from randomly sampled images to the preceding frames determined using the optical flow algorithm by providing the transformed magnitude of the displacement as an additional input to the network. Further, we incorporate the temporal context at evaluation time by applying an exponential moving average on the estimated class probabilities of the model output to obtain more stable and robust results over time. We evaluate our method on two convolutional-based and one state-of-the-art transformer architecture and show improvements in the classification results over a baseline approach, regardless of the network used.