SIMSURGE: Generierung synthetischer Daten für Surgical Data Science

• Antragstellerinnen / Antragsteller: Professorin Dr.-Ing. Stefanie Speidel; Professor Dr. Martin Wagner
• Fachliche Zuordnung: Allgemein- und Viszeralchirurgie ; Künstliche Intelligenz und Maschinelle Lernverfahren ; Medizininformatik und medizinische Bioinformatik
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 560101272

Moderne Verfahren des Maschinellen Lernens benötigen beim Training riesige Datenmengen. Im Bereich der chirurgischen Datenverarbeitung (Surgical Data Science) entstehen dadurch große Herausforderungen, da es in diesem Feld nicht nur insgesamt schwieriger ist an ausreichen Daten zu kommen, sondern diese Daten auch noch aus extrem heterogenen und ungleich verteilten Quellen stammen - denn alle Patienten, Krankheitsfälle, chirurgischen Eingriffe und Krankenhäuser sind einzigartig. Im Idealfall sollten verwendete Datensätze diese Diversität wiederspiegeln und seltene Rand- und Sonderfälle beinhalten um all Patient:innen auf faire Weise zu repräsentieren und um die Zuverlässigkeit der entwickelten Assistenzsysteme zu erhöhen. Die Nutzung von Computersimulationen ist eine mögliche Methode, Datenmengen zu vergrößern und wird eingesetzt um rechnergestützte Systeme zu trainieren (z.B. Reinforcement Learning) als auch um Nachwuchs-Chirurg:innen einzulehren (z.B. mit Simulationen für Minimalinvasive Chirurgie). Leider werden derzeit fast ausschließlich Simulationen entwickelt, welche vereinfachte Situationen darstellen, anstatt von diversen, realistischen und komplexen Szenarien, da die Erstellung von Sonderfällen heutzutage noch sehr viel manuelle Arbeit benötigt. Innerhalb des SIMSURGE Projektes sollen semi-automatische Methoden erforscht werden um große Mengen an diversen, realistischen Simulationsdaten von seltenen chirurgischen Situationen zu erstellen (Bild 1). Die Daten sollen auf physikalisch akkuraten Simulationen beruhen, um Kontrollierbarkeit zu garantieren und um automatisch für jede Szene und jedes Bild Referenzdaten zu erzeugen. Danach werden die erzeugten Daten mittels großen KIs zur Bildgenerierung (Large Vision Language Models) übersetzt um die Diversität und Anzahl an simulierbaren Fällen zu erhöhen. In verschiedenen Studien sollen die Fairness der erstellten Daten und deren Eignung für Maschinelle-Lernverfahren (Klassifikation, Vorhersage, Reinforcement-Learning von Robotern) als auch der Nutzen für das Training von Medizinstudenten evaluiert werden. Das Projekt befasst sich mit gleich mehreren bisher ungelösten Forschungsfragen im Bereich der chirurgischen Simulation, Daten-Übersetzung und Daten-Kuration, wodurch ein substantielles Forschungsrisiko entsteht. Gleichzeitig führt aber die erfolgreiche Fertigstellung des Projektes zu einem enormen Nutzen in den Bereichen der computergestützten Chirurgie, im Training von chirurgischen Robotern und im Training von chirurgischen Novizen. Um diesen Nutzen weiterzugeben werden die entwickelten Methoden als auch die generierten Datensätze nach einer gründlichen Validierung der Öffentlichkeit zur Verfügung gestellt.

• DFG-Verfahren: Reinhart Koselleck-Projekte