Entwicklung und systematische Validierung eines Systems zur kontaktlosen, kamerabasierten Messung der Herzratenvariabilität

• Antragsteller: Professor Dr.-Ing. Ayoub Al-Hamadi
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Medizininformatik und medizinische Bioinformatik
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 502438143

Die Herzratenvariabilität (HRV) stellt wichtige Informationen für die medizinische Analyse des Herz-Kreislauf-Systems und die Aktivität des autonomen Nervensystems, sowie für die Diagnose und Prävention von Krankheiten bereit. Bei den herkömmlich verwendeten Systemen zur Überwachung der HRV handelt es sich um kontaktbasierte Techniken, deren Sensoren direkt am Körper der Person angebracht werden müssen, etwa ein Elektrokardiogramm (EKG) oder kontaktbehaftete Photoplethysmographie(PPG)-Verfahren. Diese Verfahren eignen sich jedoch nur bedingt für die Langzeitüberwachung oder die Früherkennung von Krankheitssymptomen. Zudem können diese einige negative Auswirkungen für die zu messende Person mit sich bringen, wie bspw. Hautirritationen, ein gesteigertes Verbreitungsrisiko von Krankheitserregern aufgrund des direkten Kontakts, etc.Ziel dieses Forschungsvorhabens ist die optische Messung der Herzratenvariabilität (HRV) aus Videobildern im RGB- und NIR-Bereich unter Verwendung der PPG. Bei der PPG handelt es sich um eine optische, nicht-invasive Technologie, die mithilfe von Licht die volumetrischen Schwankungen der Blutzirkulation in der Haut aufzeichnet. Dieses Verfahren wurde in den letzten Jahren durch den Einsatz von Kameras auch kontaktlos auf Distanz realisiert und bereits erfolgreich für die Bestimmung der Herzrate (HR) aus Videodaten eingesetzt. Für die Messung der HRV ist eine zeitlich präzise Bestimmung der Herzschläge (Peaks) im PPG Signal notwendig. Die hohe Messgenauigkeit der HR im Stand der Technik wird durch eine starke zeitliche Filterung erreicht. Hierdurch ist eine genaue zeitliche Lokalisation der Herzschläge jedoch nicht mehr möglich. Eine Herausforderung dabei ist, dass bereits kleinste Bewegungen und Mimik der Probanden zu Artefakten im PPG Signal führen. Hier setzt dieses Forschungsvorhaben an, in dem diese Artefakte im PPG-Signal systematisch erfasst und anschließend kompensiert werden. Bisher basieren fast alle Verfahren zur Messung des PPG-Signals auf Farbwert-Mittelwertbildung von (Teil-)Bereichen der Haut im Gesicht. Eine Bewegungskompensation ist mit diesen Verfahren nicht möglich, da Positionsinformationen hierbei verloren gehen. Um Modelle zu trainieren, die invariant gegenüber Bewegungen sind, eignen sich tiefe neuronale Netze (Convolutional Neural Network (CNN)). Unter Verwendung von Verfahren zur 3D Kopfposeschätzung und der Action-Unit Erkennnung (Gesichtsmuskelbewegungen), soll ein System trainiert werden, um aus den Videodaten bewegungsinvariante PPG-Signale zu gewinnen. Dazu werden Informationen über die detektierten Hautregionen in jedem Bild mithilfe neuer Segmentationsverfahren auf CNN-Basis generiert und für die Bewegungskompensation verwendet. Die durch dieses Netz gewonnenen Daten sollen mit einem weiteren auf zeitliche Signalverarbeitung optimierten rekurrenten Netzen (Long Short-Term Memory (LSTM)) weiterverarbeitet werden, um die Pulspeaks im PPG-Signal zeitlich exakt zu bestimmen.

• DFG-Verfahren: Sachbeihilfen