Use of an ultrasound simulator to acquire data, build statistical workflow models and develop an advanced training system
Final Report Abstract
Im Rahmen des Forschungsprojekts wurde ein computerbasierter Ultraschallsimulator entwickelt, der Methoden der Augmented Reality (AR) zur Visualisierung nutzt. In Zusammenarbeit mit dem Klinikum Rechts der Isar (TU München) wurde ein Setup mit einem physikalischen Phantom und AR-Visualisierung mittels einer Webcam entwickelt und verschiedene Lehrmethoden unter Verwendung von AR implementiert. Ein weiteres Setup, welches ein Head-Mounted Display (HMD) nutzt, wurde am Klinikum Innenstadt (LMU München) implementiert. Verschiedene Methoden zur Modellierung und Analyse von Ultraschall (US) Arbeitsabläufen wurden erforscht und für die US-Lehre verwendet. Ein Student kann eine US-Prozedur am Simulator ausführen. Ein Algorithmus zur Synchronisierung von Zeitreihen erlaubt es dem Studenten einen synchronisierten Vergleich zwischen der eigenen Prozedur und einer von einer Expertin ausgeführten Prozedur zu machen. Um diesen Vergleich direkt am Simulator zu machen, wird AR Visualisierung verwendet. Komplexere Methoden zur Workflowmodellierung wurden verwendet um statistische Hidden Markov Modelle zu erstellen. Diese können im Simulator angezeigt werden und erlauben dem Studenten den Standardablauf einer Prozedur zu analysieren. Zusätzlich zur Forschung am US-Simulator wurden Forschungsarbeiten zu weiteren Teilaspekten der AR zur medizinischen Lehre durchgeführt. Neben Arbeiten zu AR Nutzerschnittstellen und Wahrnehmung bei Verwendung von HMDs wurde ein AR Magic Mirror entwickelt. Bei diesem System steht die Nutzerin vor einem Spiegel und es wir die Illusion erzeugt, dass sie in den eigenen Körper blicken kann. Solch ein System kann etwa zur Anatomielehre verwendet werden. Der AR Magic Mirror hat Reges Interesse von Ärzten und der Presse hervorgerufen. Er wurde unter anderem in n-tv Wissen und dem französischen Magazin comment ça marche vorgestellt. Das System wurde unter anderem dazu verwendet die Workflowmodelle von US-Prozeduren zu visualisieren.
Publications
-
Advanced Training Methods using an Augmented Reality Ultrasound Simulator, 8th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 2009), Orlando, USA, October 2009, pp. 177-178
T. Blum, S.M. Heining, O. Kutter, N. Navab
-
Modeling and Segmentation of Surgical Workflow from Laparoscopic Video, Medical Image Computing and Computer-Assisted Intervention (MICCAI 2010), Beijing, China, September 2010
T. Blum, H. Feußner, N. Navab
-
The effect of out-offocus blur on visual discomfort when using stereo displays, The 9th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 2010), Seoul, Korea, October 2010
T. Blum, M. Wieczorek, A. Aichert, R. Tibrewal, N. Navab
-
First Experiences with Navigated Radio-Guided Surgery Using Freehand SPECT, Case Reports in Oncology, August 2011
A. Rieger, J. Saeckl, B. Belloni, R. Hein, A. Okur, K. Scheidhauer, T. Wendler, J. Traub, H. Friess, M. E. Martignoni
-
First Deployments of Augmented Reality in Operating Rooms. IEEE Computer, Volume 45, Issue 7, July 2012, pp. 48-55
N. Navab, T. Blum, A. Okur, T. Wendler
-
mirracle: An Augmented Reality Magic Mirror System for Anatomy Education, IEEE Virtual Reality 2012 (VR), Orange County, USA, Mar. 4 - 8, 2012
T. Blum, V. Kleeberger, C. Bichlmeier, N. Navab
-
Statistical Modeling and Recognition of Surgical Workflow, Medical Image Analysis (MIA), Volume 16, Number 3, April 2012
N. Padoy, T. Blum, A. Ahmadi, H. Feußner, M.O. Berger, N. Navab
-
Superman-like X-ray Vision: Towards Brain-Computer Interfaces for Medical Augmented Reality. The 11th IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR), Atlanta, USA, Nov. 5 - 8, 2012
T. Blum, R. Stauder, E. Euler, N. Navab
