Synergia: Multisensorische Integration in hochintensiven Umgebungen — Brücke zwischen KI-Analyse und menschlicher Wahrnehmung

• Antragstellerinnen / Antragsteller: Professorin Merle T. Fairhurst; Privatdozent Dr.-Ing. M. Ali Nasseri; Professor Dr. Nassir Navab
• Fachliche Zuordnung: Biomedizinische Systemtechnik
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 560596849

Die Auswirkungen der multisensorischen Verarbeitung des Menschen bei hochkomplexen Aufgaben und der Einfluss von Umweltfaktoren sind weitgehend unerforscht. Grundlegende Fragen bleiben unbeantwortet, da sich der Großteil der multisensorischen Forschung auf einfache experimentelle Aufbauten beschränkt. Technologische Fortschritte haben jedoch den Zugang zu multimodalen, digitalen Daten ermöglicht, die nun von intelligenten, Kontext-bewussten Systemen verarbeitet werden können. Durch den Einsatz von Künstlicher Intelligenz und maschinellem Lernen können diese Systeme Daten in Echtzeit semantisch fusionieren und analysieren, wodurch sie die Umgebung erfassen und physische Objekte mit zunehmender Präzision lokalisieren und steuern können. Die Ausgaben von KI-Systemen werden konventionellerweise über unimodale, überwiegend visuelle Formate auf zahlreichen Displays und Geräten an Benutzer übermittelt. Diese Abhängigkeit von visuellen Kanälen kann zu einer Übersättigung und einer kognitiven Überlastung führen, was die Benutzerfreundlichkeit von KI-Technologien verringert. Im Gegensatz dazu bietet multisensorisches Feedback eine vielversprechende Lösung, indem sie die ahrnehmungsbelastung auf mehrere Sinne verteilt und so die kognitive Belastung reduziert und die Benutzerfreundlichkeit erhöht. Um diese Einschränkungen zu überwinden, zielt unser Vorhaben darauf ab, eine systematische Untersuchung der Einflussfaktoren auf multisensorische Integration durchzuführen. Insbesondere wollen wir mehr Verständnis über die multisensorische Verarbeitung des Menschen in hochintensiven Kontexten, wie dies der chirurgischen Eingriffe schaffen. Der chirurgische Kontext dient hierbei als ideales Beispiel zur Untersuchung komplexer Aufgaben unter anspruchsvollen Bedingungen. Unser Ziel ist es, multisensorische chirurgische Navigationssysteme zu entwerfen, die sich besonders auf die Integration von auditivem Feedback konzentrieren, um bestehende visuelle, computergestützte Systeme zu ergänzen und zu verbessern. Mit einem solchen multisensorischen System wollen wir die menschliche Leistung und Wahrnehmung bei hochintensiven chirurgischen Aufgaben untersuchen, wobei wir Faktoren wie Informationskomplexität, Erfahrung und Fachkenntnisse berücksichtigen. Diese Untersuchungen werden sowohl in kontrollierten Laborumgebungen, als auch im realen Kontext stattfinden. Diese interdisziplinäre Initiative bringt Experten für menschliche multisensorische Wahrnehmung, KI-Ingenieure und medizinische Fachleute zusammen, um innovative Methoden für multisensorisches Feedback-Design in der komplexen Umgebung chirurgischer Verfahren zu entwickeln.

• DFG-Verfahren: Sachbeihilfen