Automatisierte Echtzeit-Bildfusion von Radiologischen Bilddaten und Patientenanatomie in der Augmented Reality mittels Künstlicher Intelligenz

• Antragsteller: Dr. Malte Sieren
• Fachliche Zuordnung: Radiologie ; Medizininformatik und medizinische Bioinformatik
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 519070549

Ziel des Projekts ist die Entwicklung eines KI-gestützten, automatisierten Bildfusionsprozesses von 3D-Computertomographie (CT)-Bilddaten mit tatsächlicher Patientenanatomie in der Augmented reality zur Unterstützung chirurgischer und interventioneller Verfahren. Dieses Ziel soll mit Hilfe der in die AR-Brille integrierten Kamerasysteme und eines 3D Spatial Transformer Network erreicht werden. Die Kameras erfassen die Anatomie des Patienten in Echtzeit und ein KI-Algorithmus fusioniert dann automatisch die aus dem CT-Datensatz rekonstruierten 3D-Daten auf der Grundlage anatomischer Landmarken. Das Fusionsergebnis wird in Echtzeit auf Basis eines KI-Algorithmus permanent neu bewertet und gegebenenfalls entsprechend angepasst (z. B. wenn der Patient sich bewegt). Als Praxisbeispiel wird die Anwendung bei endovaskulären Interventionen zur gezielten Punktion der A. femoralis communis in einer Patientenstudie demonstriert. Der Schwerpunkt des Projektes liegt dabei nicht auf der Automatisierung von Tätigkeiten, die bisher von Interventionalisten durchgeführt wurden, sondern auf der synergetischen Unterstützung der menschlichen Expertise durch Technologie. Die Anwendung von KI verspricht den Einsatz von AR zu erleichtern und wäre theoretisch auch auf andere AR-Anwendungen im medizinischen Bereich übertragbar. Die erfolgreiche Umsetzung des klinischen Anwendungsfalls könnte sich positiv auf die Erfolgsraten endovaskulärer Interventionen und das Patientenoutcome auswirken. Darüber hinaus ist davon auszugehen, dass die bereits wissenschaftlich belegten Vorteile konventioneller, kommerzieller Fusionsbildgebung (z. B. Dosiseinsparungen) hier ebenfalls zum tragen kommen.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich: Professor Dr. Floris Ernst