Künstliche Intelligenz und Maschinelles Lernen in der Minimal Invasiven Chirurgie des oberen Gastrointestinaltraktes: Analyse des operativen Ablaufs und Vorhersage unerwünschter Ereignisse zur Risikominimierung

• Antragstellerin: Dr. Jennifer Aylin Eckhoff
• Fachliche Zuordnung: Allgemein- und Viszeralchirurgie
• Förderung: Förderung von 2023 bis 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 520324645

• Erstellungsjahr: 2025

Zusammenfassung der Projektergebnisse

Das im Rahmen des Walter-Benjamin-Programms geförderte Projekt hatte das Ziel mittels künstlicher Intelligenz (KI) Videodaten der robotisch-assistierten minimal-invasiven Ösophagektomie (RAMIE) hinsichtlich visueller Aspekte rund um operative Sicherheit, Entscheidungsfindung und Outcome-Vorhersage zu analysieren. Übergeordnetes Ziel dieser Forschung ist es Computer Vision (CV) Algorithmen zu nutzen um an Hand visueller Signale intraoperative Entscheidungshilfen zu bieten und somit die onkologische und funktionelle Sicherheit der RAMIE zu verbessern - jedoch setzt dies ein grundlegendes KI-basiertes Verständnis operativer Arbeitsabläufe voraus. Das Projekt basierte auf drei spezifischen Schritten: (1) der Entwicklung standardisierter Abläufe für Video Datenmanagement (2) der Annotation und KI-gestützten Analyse chirurgischer Arbeitsabläufe mittels Phasen- und Aktionsklassifikation, und (3) der Analyse von Indocyanin Grün (ICG) Signalen in Fluoreszenz Bildgebung zur Unterstützung der intraoperativen Lymphknoten Dissektion. Zunächst wurde erfolgreich eine umfassende Pipeline für das Management und die Verarbeitung von RAMIE-Videodaten und zugehörigen Metadaten etabliert, welche mittlerweile einen festen Bestandteil der operativen Arbeitsabläufe an der Uniklinik Köln darstellt. Zudem wurden chirurgische Arbeitsabläufe in der RAMIE zeitlich und räumlich analysiert, wobei aktionsreiche Phasen und Handlungen definiert, annotiert und anschließend analysiert wurden. Hierzu wurden komplexe KI Modell Architekturen, wie Concept Graph Neural Network Architekturen entwickelt, welche zunächst an öffentlich verfügbaren Datensätzen getestet wurden, jedoch vielversprechende Resultate für die Analyse von zeitlich komplexe Zusammenhänge der RAMIE zeigten. Im Rahmen der simultan durchgeführten ESOMAP-Studie bestätigte die Machbarkeit der Fluoreszenz-gestützten Lymphknoten Darstellung und stellte einen bislang kleinen, jedoch wertvollen Datensatz zur Verfügung. Dieser ermöglicht die zukünftige Analyse von Perfusionssignalen mittels der, im Rahmen des Förderzeitraums entwickelten, Transformer- und Hypergraph-basierte Modellarchitekturen. Entsprechend des etablierten Standards der Analyse von Laparoskopischen Cholezystektomie Videos (als Benchmark Operation) wurden mit diesen Modell Architekturen primär chirurgische Instrumentennutzung, Aktionen und Gewebeinteraktionen untersucht, mit dem nachgeordneten Ziel ICG-basierte Signale zu quantifizieren und so optimale Resektionsareale darzustellen. Insgesamt hat das Projekt einen Großteil seiner ursprünglichen Ziele erreicht und dabei wesentliche Grundlagen für zukünftige KI-Forschung in der chirurgischen Onkologie geschaffen. Es wurden reproduzierbare Datenpipelines etabliert, fortgeschrittene Modellierungsansätze validiert und standortübergreifende Kooperationsnetzwerke aufgebaut. Die daraus resultierenden Publikationen, peer-reviewten Kongress Beiträge und Erkenntnisse haben bereits Einfluss auf die internationale Surgical-AI-Gemeinschaft genommen und werden die zukünftige klinische Translation unterstützen.

Projektbezogene Publikationen (Auswahl)

• EAES Annual Conference 2021 Barcelona, Spain (Accepted Abstract): “Implementing AI for quality improvement in RAMIE”
  Jennifer Aylin Eckhoff
  
• EAES Annual Conference 2022 Krakow, Poland (Accepted Abstract): “TEsoNet Phase Recognition Transfer from lap. Sleeve Gastrectomy to lap. IL-Esophagectomy”
  Jennifer Aylin Eckhoff
  
• SAGES Annual Conference 2022 Denver, CO, USA (Podium Presentation): “Surgical Video Annotation”
  Jennifer Aylin Eckhoff
  
• EAES Annual Conference 2023, Rome, Italy (Accepted Abstract for Gerhard Buess Technology Award Session): “Quality Assessment of Temporal Annotations in Laparoscopic Cholecystectomy”
  Jennifer Aylin Eckhoff
  
• Mapping the Lymphatic Drainage Pattern of Esophageal Cancer with Near-Infrared Fluorescent Imaging during Robotic Assisted Minimally Invasive Ivor Lewis Esophagectomy (RAMIE)—First Results of the Prospective ESOMAP Feasibility Trial. Cancers, 15(8), 2247.
  Müller, Dolores T.; Schiffmann, Lars M.; Reisewitz, Alissa; Chon, Seung-Hun; Eckhoff, Jennifer A.; Babic, Benjamin; Schmidt, Thomas; Schröder, Wolfgang; Bruns, Christiane J. & Fuchs, Hans F.
  
• SAGES Annual Conference 2023, Cleveland, OH, USA (Accepted Abstract): “SAGES consensus recommendation on Surgical Video Data Structure, Use, and Exploration”
  Jennifer Aylin Eckhoff
  
• SAGES Annual Conference 2023, Cleveland, OH, USA (Podium Presentation): “Ethics in Surgical AI”
  Jennifer Aylin Eckhoff
  
• SAGES consensus recommendations on surgical video data use, structure, and exploration (for research in artificial intelligence, clinical quality improvement, and surgical education). Surgical Endoscopy, 37(11), 8690-8707.
  Eckhoff, Jennifer A.; Rosman, Guy; Altieri, Maria S.; Speidel, Stefanie; Stoyanov, Danail; Anvari, Mehran; Meier-Hein, Lena; März, Keno; Jannin, Pierre; Pugh, Carla; Wagner, Martin; Witkowski, Elan; Shaw, Paresh; Madani, Amin; Ban, Yutong; Ward, Thomas; Filicori, Filippo; Padoy, Nicolas; Talamini, Mark & Meireles, Ozanan R.
  
• American College of Surgeons 2024, Boston, USA (Podium Presentation): “The Intraoperative Potential of AI to Predict Adverse Events & Prevent Complications”
  Jennifer Aylin Eckhoff
  
• Concept Graph Neural Networks for Surgical Video Understanding. IEEE Transactions on Medical Imaging, 43(1), 264-274.
  Ban, Yutong; Eckhoff, Jennifer A.; Ward, Thomas M.; Hashimoto, Daniel A.; Meireles, Ozanan R.; Rus, Daniela & Rosman, Guy
  
• Deutscher Chirurgie Kongress (DCK) 2024, Digital (Accepted Abstract): “Instrument Activation Patterns in RAMIE – Initial Insights”
  Jennifer Aylin Eckhoff
  
• Deutscher Chirurgie Kongress (DCK) 2024, Leipzig, Germany (Podium Presentation): „Künstliche Intelligenz & Computer Vision in der Chirurgie“
  Jennifer Aylin Eckhoff
  
• European Surgical Association (ESA) 2024, Leeds, UK (Abstract accepted for ESA Special Lecture Format): “Democratizing Robotic Training through Artificial Intelligence”
  Jennifer Aylin Eckhoff
  
• German Society for Computer- and Robot-Assisted Surgery (CURAC), 2024, Leipzig, Germany (Podium Presentation): “Surgical Data Science in Cologne & International Initiatives”
  Jennifer Aylin Eckhoff
  
• Privacy-proof Live Surgery Streaming. Annals of Surgery, 280(1), 13-20.
  De Backer, Pieter; Simoens, Jente; Mestdagh, Kenzo; Hofman, Jasper; Eckhoff, Jennifer A.; Jobczyk, Mateusz; Van Eetvelde, Ellen; D.’Hondt, Mathieu; Moschovas, Marcio C.; Patel, Vipul; Van Praet, Charles; Fuchs, Hans F.; Debbaut, Charlotte; Decaestecker, Karel & Mottrie, Alexandre
  
• Deutscher Chirurgie Kongress (DCK) 2025, München, Germany (Accepted Abstract): „Künstliche Intelligenz & Computer Vision in der Chirurgie“
  Jennifer Aylin Eckhoff
  
• Hypergraph-Transformer (HGT) for Interaction Event Prediction in Laparoscopic and Robotic Surgery. 2025 IEEE International Conference on Robotics and Automation (ICRA), 6846-6853. IEEE.
  Yin, Lianhao; Ban, Yutong; Eckhoff, Jennifer; Meireles, Ozanan; Rus, Daniela & Rosman, Guy