Verbesserung der räumlichen Wahrnehmung für medizinische Augmented Reality mit interaktiven Tiefenschichten
Softwaretechnik und Programmiersprachen
Zusammenfassung der Projektergebnisse
Falsche räumliche Interpretation ist immer noch eines der häufigsten Wahrnehmungsprobleme in der medizinischen Augmented Reality. Um diese Herausforderung weiter zu untersuchen, arbeitete dieses Folgeprojekt an neuen Visualisierungs- und Interaktionsmethoden zur Verbesserung der räumlichen Wahrnehmung für medizinische AR. Wir verwendeten in erster Linie projektorbasierte Ausgabemodalitäten, die keine speziellen Displays wie Monitore oder Hand-Held-Geräte erfordern, weiteten aufgrund neuester Entwicklungen in diesem Bereich unseren Forschungsschwerpunkt aber auch auf Optical-See-Through-Head-Mounted-Displays aus. Unser Projekt konzentrierte sich daher auf die Exploration medizinischer 3D-Daten in projizierter und optical see-through AR mit dem Ziel, zusätzliche Tiefeninformationen bereitzustellen. Zu diesem Zweck haben wir verschiedene Interaktionsmethoden für die Erkundung eines projizierten volumetrischen Bilddatensatzes implementiert und verglichen. Die Ergebnisse von zwei Experimenten zeigten die Vorteile der Verwendung von Gesten, die auf der natürlichen Bewegung von Handgeräten basieren, um volumetrische Bilddaten in projektorbasierter AR zu erkunden. Es wurde auch festgestellt, dass Sprachbefehle ein nützliches Werkzeug sind, um diskrete Interaktionsaufgaben zu ermöglichen. Darüber hinaus deuten die Ergebnisse zweier Experimente zur Tiefenwahrnehmung bei projektorbasierter AR darauf hin, dass die Aktivierung des Tiefenhinweises Stereopsis einen großen Einfluss auf die Genauigkeit der Tiefenschätzung hat. Die Kodierung von Entfernungsinformationen für das Erscheinungsbild virtueller Objekte kann jedoch einen fast ebenso großen Beitrag leisten. Darüber hinaus ist es von Vorteil, wenn Teile der tatsächlichen Projektionsfläche, die die darunter liegenden virtuellen Strukturen verdecken, erhalten bleiben, da sie weitere Tiefeninformationen liefern. Im Hinblick auf den Anwendungsbereich nadelbasierter Eingriffe haben wir Unterschiede zwischen projektorbasierter und optical see-through AR festgestellt. Im Allgemeinen scheinen beide Methoden für diesen Bereich gleichermaßen geeignet zu sein. Allerdings hat die Wahl des AR-Displays Auswirkungen auf die gewählten Visualisierungsansätze. Projektorbasierte AR lasst sich am besten mit 2D-Visualisierungen umsetzen, die keine Stereoskopie erfordern. Gleichzeitig scheint optical see-through AR für 3D-Inhalte vorteilhafter zu sein. Mit diesen Ergebnissen leistet dieses Projekt einen Beitrag zum allgemeinen Bereich der medizinischen und projektorbasierten AR. Evidenzbasierte Ergebnisse können die Interaktion mit und die Visualisierung von AR-Inhalten in zukünftigen Anwendungen verbessern.
Projektbezogene Publikationen (Auswahl)
-
“Sline: Seamless Line Illustration for Interactive Biomedical Visualization”. In: Eurographics Workshop on Visual Computing for Biology and Medicine. VCBM ’16. Bergen, Norway: Eurographics Association, 2016, pp. 133–142
N. Lichtenberg, N. Smit, C. Hansen & K. Lawonn
-
“Concentric Circle Glyphs for Enhanced Depth-Judgment in Vascular Models”. In: Eurographics Workshop on Visual Computing for Biology and Medicine. 2017, pp. 179–188
N. Lichtenberg, C. Hansen & K. Lawonn
-
Real-time field aligned stripe patterns. Computers & Graphics, 74, 137-149.
Lichtenberg, Nils; Smit, Noeska; Hansen, Christian & Lawonn, Kai
-
Auxiliary Tools for Enhanced Depth Perception in Vascular Structures. Advances in Experimental Medicine and Biology, 103-113. Springer International Publishing.
Lichtenberg, Nils & Lawonn, Kai
-
Depth Perception in Projective Augmented Reality: An Evaluation of Advanced Visualization Techniques. 25th ACM Symposium on Virtual Reality Software and Technology, 1-11. ACM.
Heinrich, Florian; Bornemann, Kai; Lawonn, Kai & Hansen, Christian
-
HoloInjection: augmented reality support for CT‐guided spinal needle injections. Healthcare Technology Letters, 6(6), 165-171.
Heinrich, Florian; Schwenderling, Luisa; Becker, Mathias; Skalej, Martin & Hansen, Christian
-
Parameterization, Feature Extraction and Binary Encoding for the Visualization of Tree‐Like Structures. Computer Graphics Forum, 39(1), 497-510.
Lichtenberg, N. & Lawonn, K.
-
“Distance Field Visualization and 2D Abstraction of Vessel Tree Structures with on-the-fly Parameterization”. In: Eurographics Workshop on Visual Computing for Biology and Medicine. The Eurographics Association, 2019
N. Lichtenberg, B. Krayer, C. Hansen, S. Müller & K. Lawonn
-
Comparison of Augmented Reality Display Techniques to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics, 26(12), 3568-3575.
Heinrich, Florian; Schwenderling, Luisa; Joeres, Fabian; Lawonn, Kai & Hansen, Christian
-
Interacting with Medical Volume Data in Projective Augmented Reality. Lecture Notes in Computer Science, 429-439. Springer International Publishing.
Heinrich, Florian; Bornemann, Kai; Lawonn, Kai & Hansen, Christian
-
Effects of Surface Visualizations on Depth Perception in Projective Augmented Reality. 2021 IEEE 2nd International Conference on Human-Machine Systems (ICHMS). IEEE.
Heinrich, Florian; Schwenderling, Lovis; Streuber, Marcus; Bornemann, Kai; Lawonn, Kai & Hansen, Christian
-
Estimating depth information of vascular models: A comparative user study between a virtual reality and a desktop application. Computers & Graphics, 98, 210-217.
Heinrich, Florian; Apilla, Vikram; Lawonn, Kai; Hansen, Christian; Preim, Bernhard & Meuschke, Monique
-
2D versus 3D: A Comparison of Needle Navigation Concepts between Augmented Reality Display Devices. 2022 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), 260-269. IEEE.
Heinrich, Florian; Schwenderling, Lovis; Joeres, Fabian & Hansen, Christian
-
Evaluating Perceptional Tasks for Medicine: A Comparative User Study Between a Virtual Reality and a Desktop Application. 2022 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), 514-523. IEEE.
Hombeck, Jan; Meuschke, Monique; Zyla, Lennert; Heuser, Andre-Joel; Toader, Justus; Popp, Felix; Bruns, Christiane J.; Hansen, Christian; Datta, Rabi R. & Lawonn, Kai
-
Heads up A Study of Assistive Visualizations for Localisation Guidance in Virtual Reality. Informatik aktuell, 83-88. Springer Fachmedien Wiesbaden.
Hombeck, Jan; Lichtenberg, Nils & Lawonn, Kai
-
“Distance visualizations for vascular structures in desktop and vr: Overview and implementation”. In: Eurographics Workshop on Visual Computing for Biology and Medicine. The Eurographics Association. 2022, pp. 129–1335
J. Hombeck, M. Meuschke, S. Lieb, N. Lichtenberg, R. Datta, M. Krone, C. Hansen, B. Preim, K. Lawonn & A. Kleinau
-
Clutch & Grasp: Activation gestures and grip styles for device-based interaction in medical spatial augmented reality. International Journal of Human-Computer Studies, 180, 103117.
Heinrich, Florian; Bornemann, Kai; Polenz, Laureen; Lawonn, Kai & Hansen, Christian
-
Tell Me Where To Go: Voice-Controlled Hands-Free Locomotion for Virtual Reality Systems. 2023 IEEE Conference Virtual Reality and 3D User Interfaces (VR), 123-134. IEEE.
Hombeck, Jan; Voigt, Henrik; Heggemann, Timo; Datta, Rabi R. & Lawonn, Kai
-
“Enhancing Vascular Analysis with Distance Visualizations: An Overview and Implementation”.
J. Hombeck, M. Meuschke, S. Lieb, N. Lichtenberg, F. Fleisch, M. Enderling, R. Datta, M. Krone, C. Hansen & B. Preim
