Multimodale Affekterkennung im Verlaufe eines tutoriellen Lernexperiments
Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik
Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Zusammenfassung der Projektergebnisse
Das grundsätzliche Ziel dieses Forschungsvorhabens war die Konzeption, Entwicklung und Evaluierung von multimodalen automatischen Klassifikatoren für die Erkennung affektiver Nutzerzustände, Überforderung, Frustration, Langeweile oder Irritation wie sie im Interaktionsverlauf mit tutoriellen Systemen zu beobachten sind. Durch eine angepasste Berücksichtigung dieser affektiven Zustände könnte so der Interaktionsverlauf zwischen Nutzer und der eigentlichen Anwendung nutzerfreundlicher und effektiver gestaltet werden. Voraussetzung hierfür ist eine möglichst genaue, robuste Erfassung des affektiven Zustands. Für die multimodale Datenerhebung wurde ein Lernexperiment entwickelt, das anstelle klassischer Emotionsinduktion, kritische Umlernphasen enthielt, die durch Versuch und Irrtum bewältigt werden mussten, sowie wenige zeitlich verzögerte Rückmeldungen. Die Identifikation der neurophysiologischen (fMRT und EEG) Korrelate dieser Ereignisse im Zusammenhang mit einer computationalen kognitiven Modellierung mittels ACT-R lieferten Erkenntnisse über neuronale Prozesse der Strategieanpassung beim Lernen. Für die multimodale Erkennung basierend auf den Signaltypen EKG, EMG, EDA, Atmung, Audio, Video wurden Machine Learning Verfahren wie künstliche neuronale Netze, Support-Vektor-Maschinen und Random-Forest sowie Deep Learning Verfahren zum Lernen anwendungs-relevanter Merkmale und zur Informationsfusion entwickelt und evaluiert. Im Rahmen der methodischen Evaluierung konnten unimodale und multimodale Erkenner erfolgreich entwickelt und erprobt werden. Hierbei zeigte sich, dass eine Qualitätssicherung zur automatisierten Identifikation von Artefakten in den unimodalen Daten unerlässlich ist. Weiterer Forschungsbedarf besteht hinsichtlich der Transferierbarkeit der Modelle auf neue Daten, insbesondere wenn sich diese hinsichtlich der Intensität der gezeigten Emotionen unterscheiden. So ließen sich die auf dem uulmMAC Benchmarkdaten vortrainierten Klassifikatoren nicht erfolgreich auf die im Experiment erhobenen emotionalen Daten anwenden. Dies lässt sich möglicherweise darin begründet, dass die im Lernexperiment gezeigten emotionalen Äußerungen nur sehr schwach ausgeprägt waren und einer anderen statistischen Verteilung genügen als stärker ausgeprägte emotionale Äußerungen. Dieses Resultat hat im weiteren Verlauf des Projektes dazu geführt, dass wir uns bei der Klassifikationsmethodik vom binären Ansatz (Emotion vorhanden: ja|nein) in Richtung der ordinalen Emotionsklassifikation (Emotionsintensitäten: schwach|mittel|stark) bewegt haben. Hierfür wurden erste theoretische Ansätze erarbeitet und auf Datensätzen zur Erkennung von schmerzinduziertem Stress trainiert und evaluiert. Auf Grund der durch Corona bedingten Verzögerungen bei der Datenerhebung, werden diese Ansätze zur multimodalen Emotionserkennung im Laufe des Jahres 2023 durch die Projektpartner weiterbearbeitet. Tastendrücke spielen bei der Erkennung von Emotionen eine untergeordnete Rolle und werden in der Literatur bisher nur wenig beachtet. Im Rahmen des Forschungsprojektes wurden Tastendruckdynamiken mittels unüberwachter Lernverfahren analysiert. Auf diese Weise konnten wir mittels Anomaliedetektion das Phänomen von zögerlichen bzw. mehrfachen Tastendrückens feststellen, welches wiederum verknüpft sein könnte mit emotionalen Zuständen wie Unsicherheit oder Überforderung. Auf Grund des geringen Vorkommens dieser Ereignisse konnten bisher nur vorläufige Resultate erzielt werden, hier werden die Projektpartner im laufenden Jahr weitere Analysen durchführen.
Projektbezogene Publikationen (Auswahl)
-
Dorsal posterior cingulate cortex encodes the informational value of feedback in human–computer interaction. Scientific Reports, 10(1).
Wolff, Susann; Kohrs, Christin; Angenstein, Nicole & Brechmann, André
-
Machine learning identifies the dynamics and influencing factors in an auditory category learning experiment. Scientific Reports, 10(1).
Abolfazli, Amir; Brechmann, André; Wolff, Susann & Spiliopoulou, Myra
-
Ordinal Classification: Working Definition and Detection of Ordinal Structures. IEEE Access, 8, 164380-164391.
Bellmann, Peter & Schwenker, Friedhelm
-
A Theoretical Approach to Ordinal Classification: Feature Space-Based Definition and Classifier-Independent Detection of Ordinal Class Structures. Applied Sciences, 12(4), 1815.
Bellmann, Peter; Lausser, Ludwig; Kestler, Hans A. & Schwenker, Friedhelm
-
Button Press Dynamics: Beyond Binary Information in Button Press Decisions. Lecture Notes in Networks and Systems, 469-477. Springer Nature Singapore.
Bellmann, Peter; Kessler, Viktor; Brechmann, André & Schwenker, Friedhelm
-
Discovering Instantaneous Granger Causalities in Non-stationary Categorical Time Series Data. Lecture Notes in Computer Science, 200-209. Springer International Publishing.
Jamaludeen, Noor; Unnikrishnan, Vishnu; Brechmann, André & Spiliopoulou, Myra
-
Dorsal posterior cingulate cortex responds to negative feedback information supporting learning and relearning of response policies. Cerebral Cortex, 33(10), 5947-5956.
Wolff, Susann & Brechmann, André
-
Dynamic Time Warping-Based Detection of Multi-clicks in Button Press Dynamics Data. Lecture Notes in Networks and Systems, 479-487. Springer Nature Singapore.
Bellmann, Peter; Kessler, Viktor; Brechmann, André & Schwenker, Friedhelm
-
Machine Learning-Based Pain Intensity Estimation: Where Pattern Recognition Meets Chaos Theory—An Example Based on the BioVid Heat Pain Database. IEEE Access, 10, 102770-102777.
Bellmann, Peter; Thiam, Patrick; Kestler, Hans A. & Schwenker, Friedhelm
