mSimCam – Eine multimodale Simulationsumgebung für kamerabasierte Erfassung kardiorespiratorischer Aktivität

• Antragsteller: Professor Dr.-Ing. Christoph Bernhard Hoog Antink
• Fachliche Zuordnung: Biomedizinische Systemtechnik
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 534067722

Multimodale kamerabasierte Sensorik erfreut sich immer größerer Beliebtheit im medizinischen Kontext, da sie eine berührungslose Überwachung der Herz- und Atemtätigkeit ermöglicht. Da dafür jedoch meist Videos von Gesichtern genutzt werden, verhindern Datenschutzbedenken oft die Nutzung von Daten über Forschungsgruppen hinweg, was eine unabhängige Validierung erschwert. Dies ist besonders problematisch, da mehr und mehr Ansätze auf (tiefem) maschinellem Lernen basieren. Darüber hinaus fehlt es öffentlich verfügbaren Datensätzen an Vielfalt in Bezug auf Probandinnen / Probanden (Hautfarbe, BMI, Alter, Geschlecht, Gesundheitszustand usw.) und Messszenarien (Beleuchtung, Bewegungsartefakte, Hintergründe, Kameraposition usw.). In verschiedensten Bereichen haben sich Simulationen als nützlich erwiesen, von der Simulation subatomarer Teilchen über die Struktur von Proteinen bis hin zu Fabrikanlagen. Im Bereich der Computer Vision haben sich simulierte 3D-Umgebungen als nützlich für das autonome Fahren erwiesen. Es fehlen jedoch Ansätze, die die Simulation von Vitaldatenerfassung aus multimodalen Kameras ermöglicht. Dennoch deuten zahlreiche Arbeiten darauf hin, dass ein solcher Ansatz sowohl implementiert werden als auch für reale Anwendungen von Nutzen sein kann. Ziel des Projekts ist die Schaffung digitaler Zwillinge für die Synthese realistischer, vielfältiger und datenschutzrechtlich unbedenklicher multimodaler Daten für die kamerabasierte Erfassung der kardiorespiratorischen Aktivität. Zu diesem Zweck schlagen wir eine realistische, quelloffene, multimodale Simulationsumgebung vor. Kernstück dieser Umgebung ist eine 3D-Rendering-Pipeline, die realistische Kameradaten (visuell / Tiefenbildgebung / Thermografie) synthetisiert. Die Pipeline wird durch eine Simulation für kardiorespiratorische Aktivität gespeist. Unser Projekt stützt sich auf die folgenden Hypothesen: 1) Die Synthese von kardiorespiratorischen Signalen kann verwendet werden, um eine 3D-Rendering-Pipeline zur Synthese von Kameradaten zu speisen. 2) Die synthetisierten Daten sind realistisch und nützlich, da sie das Training und die Optimierung von Ansätzen zur Extraktion kardiorespiratorischer Signale aus Kameradaten ermöglichen. Wenn diese Ansätze mit zusätlichen synthetischen Daten trainiert werden, zeigen sie bei der Evaluation mit realen Daten eine bessere Leistung. Dies gilt insbesondere für Fälle, für die es derzeit an Trainingsdaten mangelt, wie z. B. extreme Herz- und Atemfrequenzen oder ein nicht-weißer Hautton. 3) Die Simulationsumgebung wird Einblicke in reale Messaufbauten ermöglichen, da sie die systematische Analyse verschiedener Einflüsse erlaubt (Beleuchtung, Hintergrund, Verdeckung, Bewegung, pathologische Zustände, ...). Das vorgeschlagene Projekt hat das Ziel, den Bereich der kontaklosen Vitalparameterschätzung voranzutreiben und der wissenschaftlichen Gemeinschaft ein Framework zu bieten, welches Ergebnisse reproduzierbarer macht und Verzerrungen entgegenwirkt.

• DFG-Verfahren: Sachbeihilfen