Automated Realtime Imaging for Laparoscopic Interventions

• Applicants: Professor Dr. Tim C. Lüth; Professor Dr. Jens-Uwe Stolzenburg
• Subject Area: Automation, Mechatronics, Control Systems, Intelligent Technical Systems, Robotics ; Epidemiology and Medical Biometry/Statistics
• Term: from 2009 to 2021
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 106863815

• Final Report Year: 2021

Final Report Abstract

Um bei einer laparoskopischen Operation zusätzlich zur oberflächlichen Darstellung des Operationsgebiets durch das Laparoskop auch eine Darstellung des Organinneren zu ermöglichen, wird zusätzlich eine laparoskopische Ultraschallsonde im Inneren des Körpers eingesetzt. Ultraschallbilder und Laparoskopbilder werden üblicherweise auf separaten Bildschirmen dargestellt, was eine Einordnung in den anatomischen Kontext für den Operateur erschwert. Hier wurde ein Konzept entwickelt und realisiert, das gleichzeitig die Manipulation von Instrumenten und das Führen einer laparoskopischen Ultraschallsonde ermöglicht (Manipulation) und mittels einer laparoskopischen Ultraschallsonde gewonnene Informationen aus dem Organinneren direkt im Laparoskopbild als Bildüberlagerung anzeigt (Visualisierung). Für die Manipulation wurde ein modulares laparoskopisches Manipulatorsystem entwickelt, das verschiedene Varianten sowie diverse Zusatzfunktionalitäten ermöglicht und mittels eines automatisierten Entwurfs- und Konstruktionsprozesses auf verschiedene Eingabeparameter angepasst werden kann. Für die Visualisierung wurden verschiedene Augmented-Reality-Konzepte zur Darstellung von Ultraschallbilddaten im Laparoskopbild entwickelt: Darstellung der Videoultraschallaufnahmen als a) kleines Bild im Videolaparoskopbild, b) perspektivisch richtig projiziert an der Ultraschallsonde hängend im Videolaparoskopbild, c) Darstellung des aus den Ultraschallbildaufnahmen segmentierten Tumors als Projektion auf die Organoberfläche mit farblich eingefärbten Bereichen/Konturen (Tumor, Sicherheitsabstand, Resektionszone). Zusätzlich wurden die Instrumente getrackt, um ein Warnsignal bei Unterschreitung des Mindestabstandes zur Tumoroberfläche ausgeben zu können.

Publications

• (2016): A New Concept for a Single Incision Laparoscopic Manipulator System Integrating Intraoperative Laparoscopic Ultrasound, IEEE International Conference on Robotics and Biomimetics (Robio), Qingdao, China, 03.-07.12.2016, pp. 51-56
  Brecht, S.V.; Krieger, Y.S.; Stolzenburg, J.-U.; Lueth, T. C.
  
• (2016): First Approach towards a Manipulator System for Single-Incision Laparoscopic Surgery Using Rapid Manufacturing, 15. Jahrestagung der Deutschen Gesellschaft für Computer- und Roboterassistierte Chirurgie (CURAC 2016), Bern, 2016, pp. 111-116, Best Paper Award 3rd Place
  Krieger, Y.S.; Brecht, S.V.; Roppenecker, D. B.; Kuru, I.; Lueth, T. C.
  
• (2016): First Step towards an Automated Designed Multi-Arm Snake-Like Robot for Minimally Invasive Surgery. IEEE RAS/EMBS International Conference on Biomedical Robotics and Biomechatronics, Singapore, 26-29.06.2016, pp. 407-412
  Krieger, Y.S.; Roppenecker, D.B.; Stolzenburg, J.-U.; Lueth, T.C.
  
• (2017): Patientenindividuelle Medizinprodukte aus dem 3D-Drucker. Medizintechnik in Bayern, 2017/18, pp. 40-42
  Brecht, S.V.; Hein, Ch.; Krieger, Y.S.; Lueth, T. C.
  
• (2019): 3D Printed Single Incision Laparoscopic Manipulator System Adapted to the Required Forces in Laparoscopic Surgery. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Macau, China, November 4-8, 2019, pp. 6296-6301
  Brecht, S.V.; Stock, M.; Stolzenburg, J.-U.; Lueth, T.C.
  
• (2020): Automated Design and Construction of a Single Incision Laparoscopic System Adapted to the Required Workspace. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, NV, USA (Virtual), October 25-29, 2020, pp. 3112-3118
  Brecht, S.V.; Voegerl, J.S.A.; Lueth, T.C.