Videobasierte automatische Schmerzerkennung auf Grundlage von Kombinations- und Zeitmerkmalen von Action Units (PainFaceReader)

• Antragstellerinnen / Antragsteller: Dr.-Ing. Jens-Uwe Garbas; Professor Dr. Stefan Lautenbacher; Professorin Dr. Ute Schmid
• Fachliche Zuordnung: Biomedizinische Systemtechnik ; Allgemeine, Kognitive und Mathematische Psychologie ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2018 bis 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 405630557

Ziel des Projekts ist die Entwicklung und Bewertung eines Systems zur automatischen Schmerzerkennung für den klinischen Alltag. Entsprechend muss die Klassifikation sowohl robust als auch auf individueller Ebene genau sowie für medizinisches Personal nachvollziehbar sein. Im Fortsetzungsantrag sollen die durch Corona verzögerten Arbeiten fortgeführt und erweitert werden sowie, basierend auf bereits erzielten Ergebnissen, weitere für die Erreichung des Gesamtziels sinnvolle Forschungsfragen bearbeitet werden. Grundlage ist die Nutzung von der in der Mimikforschung üblichen Beschreibung von Mimik durch Bewegungen der Gesichtsmuskulatur als Action Units (AUs) mit dem Facial Action Coding System (FACS). Bestimmte Konstellationen von AUs und deren Intensitäten werden dann als Indikatoren für das Vorliegen bestimmter mentaler Zustände herangezogen. Bislang wird FACS-Kodierung überwiegend manuell, von ausgebildeten FACS-Kodern vorgenommen, was sehr kostenintensiv ist. Ziel des Vorhabens ist es, ein kamera-basiertes online-Monitoring- und Analyse-System zu entwickeln, das aus Videoaufzeichnungen des Gesichts (1) kontinuierlich das Auftreten von AUs und deren Intensitäten erfasst und (2) drauf basierend das Vorliegen von Schmerz in Abgrenzung von anderen aversiven Emotionen wie Ärger und Ekel, erkennt.In einer interdisziplinären Gruppe von Elektrotechnik, Informatik und in der Schmerzforschung erfahrenen Psychologen, soll mit dem PainFaceReader ein neuartiger Ansatz entwickelt werden, der den beschriebenen Anforderungen genügt.In den ersten drei Jahren konnten die geplanten psychologischen Datenerhebungen aufgrund von Corona nur sehr eingeschränkt durchgeführt werden. Entsprechend sollen im Folgeantrag die geplanten Experimente und Studien vervollständigt werden. Am Fraunhofer Institut wurde entsprechend ein Ansatz zur Bestimmung und zum Monitoring von AUs entwickelt, der auf öffentlichen Datenbanken basiert. Die Bamberger Informatiker konnten vorerst nur synthetische Daten nutzen, um logik-basierte Klassifikatoren zu trainieren. Die Ansätze zur AU-Erkennung und zur Schmerzklassifikation sollen jetzt auf den neu erhobenen Daten evaluiert werden. Geplant ist ein systematischer Vergleich vorhandener Ansätze zur AU-Identifikation bezogen auf die Erkennungsgenauigkeit bei den schmerzrelevanten AUs und deren Kombinationen. Der im Vorgängerantrag entwickelte Ansatz zur AU-Erkennung soll mit den kommerziellen Ansätzen verglichen werden. Insbesondere sollen Analysen bezogen auf die Robustheit der AU-Erkennung bei Personengruppen mit verschiedenen Eigenschaften wie Alter und Geschlecht durchgeführt werden. Der eigene Ansatz soll weiterentwickelt werden, indem gezielt Korrelationen zwischen AUs über verschiedene Emotionen hinweg ausgenutzt werden. Schließlich sollen Unsicherheiten der AU-Erkennung bei der Klassifikation von Schmerz berücksichtig werden und das System soll um eine Erklärungskomponente für Schmerzerkennung im klinischen Kontext ergänzt werden.

• DFG-Verfahren: Sachbeihilfen