Computer-based Quantification of Reconstructive Mitral Valve Surgery
Epidemiology and Medical Biometry/Statistics
Final Report Abstract
Die unterschiedlichen Operationstechniken, wie sie heute in der Mitralklappen-Rekonstruktionschirurgie verbreitet sind, werden ohne eindeutige wissenschaftliche Evidenz angewendet. Die meisten intraoperativen Entscheidungen basieren hauptsächlich auf dem subjektiven, nicht quantifizierbaren Erfahrungswissen des Chirurgen, was diese Operation schwierig zu erlernen macht. Das übergeordnete Ziel des Forschungsvorhabens war es, Grundsteine zu legen, die das chirurgische Handeln in eine messende und messbare Wissenschaft transformieren. In diesem Zusammenhang ist die prä-, intra- und postoperative quantitative Analyse der Mitralklappe ein neuartiger und ambitionierter Ansatz. Im Rahmen des Projektes konnten neue Verfahren aus dem Bereich der Künstlichen Intelligenz entwickelt werden, die eine intraoperative Analyse der Mitralklappe durch Nutzung von stereoendoskopischen Daten ermöglicht. Genauer wurde ein Verfahren entwickelt, welches in der Lage ist, die Einstichpunkte der chirurgischen Fäden automatisch zu detektieren. Damit wurde ein wichtiger Beitrag für Multi-Punkt-Detektoransätze geschaffen, die auch in anderen Anwendungsgebieten vorkommen. Ein Teil der kurierten und annotierten Daten (über 55.000 annotierte Punkte auf über 5000 Stereobildern) wurde der wissenschaftlichen Forschungsgemeinschaft im Rahmen von zwei Internationalen Data Science Challenges (MICCAI AdaptOR Challenge 2021 und 2022) zur Verfügung gestellt. Außerdem wurden Vergleichsversuche zwischen triangulationsbasierten Ansätzen zur Tiefenrekonstruktion und Optischem Tracking- Verfahren angestellt. Die Tiefendaten können genutzt werden, um die intraoperative Klappengeometrie in 3D darzustellen, zu dokumentieren und zu quantifizieren. Insbesondere fokussierte sich das Projekt auf die Untersuchung des Mitralklappenannulus, welcher durch Verankerung einer Ringprothese chirurgisch verändert wird. Eine der größten Auswirkungen der Veränderung ergab sich laut unserer Analysen in der Frühsystole mit einer Reduktion der Annulusfläche von 55,5%, was eine signifikante Verkleinerung darstellt. Insgesamt stellte sich bei jedem untersuchten geometrischen Parameter, ausgenommen des Nicht-Planaritätswinkels, eine signifikante Reduktion zu jedem Zeitpunkt des Herzzyklus heraus. Neben den quantitativen Betrachtungen wurden zusammen mit Kooperationspartnern qualitative Analysemöglichkeiten in Form von neuartigen Visualisierungen geschaffen, die die Chirurgischen Veränderung und den individuellen Chirurgischen Workflows darstellen. Darüber hinaus bat die Weiterentwicklung eines patientenindividuellen Simulators neue Möglichkeiten, die entwickelten Methoden in Phantomstudien in einem real nachempfundenen Setting zu validieren. Im Rahmen des Projektes wurde insbesondere ein KI-Ansatz entwickelt, welcher Chirurgische Trainingssimulatoren mittels Generativer Modelle realistischer gestaltet. Außerdem wurden im Rahmen des Projektes zwei Studien zum Einsatz des Simulators im Chirurgischen Training und zur Operationsplanung durchgeführt. Zusammenfassend sind die erreichen Ergebnisse sehr vielversprechend auf dem Weg hin zu einer evidenzbasierten Mitralklappenchirurgie, in der individuellere Entscheidungen und Behandlungsempfehlungen auf quantitativer Basis für den einzelnen Patienten getroffen werden könnten.
Publications
-
Improving Surgical Training Phantoms by Hyperrealism: Deep Unpaired Image-to-Image Translation from Real Surgeries. Lecture Notes in Computer Science, 747-755. Springer International Publishing.
Engelhardt, Sandy; De Simone, Raffaele; Full, Peter M.; Karck, Matthias & Wolf, Ivo
-
Cross-Domain Conditional Generative Adversarial Networks for Stereoscopic Hyperrealism in Surgical Training. Lecture Notes in Computer Science, 155-163. Springer International Publishing.
Engelhardt, Sandy; Sharan, Lalith; Karck, Matthias; Simone, Raffaele De & Wolf, Ivo
-
Flexible and comprehensive patient-specific mitral valve silicone models with chordae tendineae made from 3D-printable molds. International Journal of Computer Assisted Radiology and Surgery, 14(7), 1177-1186.
Engelhardt, Sandy; Sauerzapf, Simon; Preim, Bernhard; Karck, Matthias; Wolf, Ivo & De, Simone Raffaele
-
Replicated mitral valve models from real patients offer training opportunities for minimally invasive mitral valve repair. Interactive CardioVascular and Thoracic Surgery, 29(1), 43-50.
Engelhardt, Sandy; Sauerzapf, Simon; Brčić, Andreas; Karck, Matthias; Wolf, Ivo & De, Simone Raffaele
-
Temporal Views of Flattened Mitral Valve Geometries. IEEE Transactions on Visualization and Computer Graphics, 1-1.
Eulzer, Pepe; Engelhardt, Sandy; Lichtenberg, Nils; De Simone, Raffaele & Lawonn, Kai
-
Domain gap in adapting self-supervised depth estimation methods for stereo-endoscopy. Current Directions in Biomedical Engineering, 6(1).
Sharan, Lalith; Burger, Lukas; Kostiuchik, Georgii; Wolf, Ivo; Karck, Matthias; De Simone, Raffaele & Engelhardt, Sandy
-
Mitral valve flattening and parameter mapping for patient-specific valve diagnosis. International Journal of Computer Assisted Radiology and Surgery, 15(4), 617-627.
Lichtenberg, Nils; Eulzer, Pepe; Romano, Gabriele; Brčić, Andreas; Karck, Matthias; Lawonn, Kai; De Simone, Raffaele & Engelhardt, Sandy
-
3D Printing, Computational Modeling, and Artificial Intelligence for Structural Heart Disease. JACC: Cardiovascular Imaging, 14(1), 41-60.
Wang, Dee Dee; Qian, Zhen; Vukicevic, Marija; Engelhardt, Sandy; Kheradvar, Arash; Zhang, Chuck; Little, Stephen H.; Verjans, Johan; Comaniciu, Dorin; O.’Neill, William W. & Vannan, Mani A.
-
Heatmap-based 2D Landmark Detection with a Varying Number of Landmarks. Informatik aktuell, 22-27. Springer Fachmedien Wiesbaden.
Stern, Antonia; Sharan, Lalith; Romano, Gabriele; Koehler, Sven; Karck, Matthias; De Simone, Raffaele; Wolf, Ivo & Engelhardt, Sandy
-
Point detection through multi-instance deep heatmap regression for sutures in endoscopy. International Journal of Computer Assisted Radiology and Surgery, 16(12), 2107-2117.
Sharan, Lalith; Romano, Gabriele; Brand, Julian; Kelm, Halvar; Karck, Matthias; De Simone, Raffaele & Engelhardt, Sandy
-
Comparison of Depth Estimation Setups from Stereo Endoscopy and Optical Tracking for Point Measurements. Informatik aktuell, 160-165. Springer Fachmedien Wiesbaden.
Burger, Lukas; Sharan, Lalith; Fischer, Samantha; Brand, Julian; Hehl, Maximillian; Romano, Gabriele; Karck, Matthias; De Simone, Raffaele; Wolf, Ivo & Engelhardt, Sandy
-
Mutually Improved Endoscopic Image Synthesis and Landmark Detection in Unpaired Image-to-Image Translation. IEEE Journal of Biomedical and Health Informatics, 26(1), 127-138.
Sharan, Lalith; Romano, Gabriele; Koehler, Sven; Kelm, Halvar; Karck, Matthias; De Simone, Raffaele & Engelhardt, Sandy
-
mvHOTA: A multi-view higher order tracking accuracy metric to measure temporal and spatial associations in multi-point tracking. Computer Methods in Biomechanics and Biomedical Engineering: Imaging & Visualization, 11(4), 1281-1289.
Sharan, Lalith; Kelm, Halvar; Romano, Gabriele; Karck, Matthias; De Simone, Raffaele & Engelhardt, Sandy
