Klassifikation der emotionalen Wirkung von Filmszenen Bewertung des emotionalen Erlebnisses einer Multimedia-Präsentation aus Bild und Ton
Allgemeine, Kognitive und Mathematische Psychologie
Elektronische Halbleiter, Bauelemente und Schaltungen, Integrierte Systeme, Sensorik, Theoretische Elektrotechnik
Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
Zusammenfassung der Projektergebnisse
Kann man Emotionen berechnen? Insbesondere: Können wir vorhersagen, welche Emotion eine Person beim Betrachten eines Videos erlebt? Sogenannte „Appraisal-Modelle“ der Emotionspsychologie gehen davon aus, dass sich die erlebte Emotion aus verschiedenen (meist unbewussten) Bewertungsschritten ergibt, z.B. „Ist das Ereignis angenehm? Ist das Ereignis überraschend? Werde ich mit den Konsequenzen umgehen können?“. Dabei kommt es auch zu körperlichen Reaktionen, wie zum Beispiel einer Veränderung der Hautleitfähigkeit, mimischen (Mikro)Reaktionen, oder Änderungen in Herzschlagfrequenz oder -rhythmus. Es wurde vermutet, dass (a) die Bewertungsschritte mit bestimmten körperlichen Reaktionen zusammenhängen, und (b) die letztendlich erlebte Emotion sich aus der Kombination der einzelnen Bewertungsschritte vorhersagen lässt. Diese Fragen hat das Forschungsprojekt untersucht, welches als Kooperation zwischen dem Lehrstuhl für Datenverarbeitung an der Fakultät Elektrotechnik und Informationstechnik der TU München und dem Lehrstuhl für psychologische Methodenlehre und Diagnostik der LMU München durchgeführt wurde. Basierend auf einem Datensatz zu den Appraisalschritten von erinnerten emotionalen Erlebnissen wurden mehrere Modelle des maschinellen Lernens getestet um die resultierende Emotion vorherzusagen. Dabei konnte die spezifische Emotion mit einer Genauigkeit von 40% und die Emotionsfamilie (eine Zusammenfassung jeweils ähnlicher Emotionen) mit einer Genauigkeit von 77% vorhergesagt werden. Für zwei weitere Studien in dem Projekt wurde eine Datenbank von 188 kurzen Videoclips aufgebaut, die geeignet sind, bei Betrachtern verschiedenste Emotionen auszulösen. Die Videos sind alle lizenzfrei und können von anderen Forschenden nachgenutzt werden. Die Videos wurden dann zum einen in einer großen Onlinestudie eingesetzt, bei der 434 Teilnehmer die Videos bewertet haben, ihre emotionale Reaktion berichtet haben, und auch die einzelnen Appraisal-Schritte. Es konnte gezeigt werden, dass manche Videos mit hoher Uniformität bei den meisten Betrachtern ähnliche Emotionen auslösten, während andere Videos je nach Betrachter eine große Bandbreite an Emotionen ausgelöst haben. Die Persönlichkeit der Betrachter hatte in unserer Studie überraschender Weise keinerlei Einfluss darauf, welche Emotionen (verstärkt) erlebt wurden. Das steht im Widerspruch zu bisherigen Forschungsergebnissen, die (meist mit kleineren Stichproben) solche Zusammenhänge berichtet haben. In einer weiteren Studie wurde ein Teil der Videos in einer aufwändigen Laborstudie verwendet, in der bei den 157 Studienteilnehmern während des Betrachtens der Videos mit Hilfe von Elektromyographie die Aktivität an drei Gesichtsmuskeln gemessen wurde (zygomaticus major, corrugator supercilii und frontalis), sowie die Hautleitfähigkeit und der Herzschlag. Dabei konnte gezeigt werden, dass 13 von 21 erhobenen Bewertungsschritten einen robusten (nicht-linearen) Zusammenhang zu den physiologischen Messreihen zeigen. Am besten konnte der Appraisalcheck „intrinsic pleasantness“ vorhergesagt werden; den größten Einfluss auf die Vorhersage hatte der Gesichtsmuskel „zygomaticus major“ (der „Lächelmuskel“). Alle Veröffentlichungen, Versuchsmaterialien, sowie die erhobenen Forschungsdaten sind frei verfügbar und können zur Verifizierung der berichteten Ergebnisse sowie zur Nachnutzung für weiterführende Fragestellungen nachgenutzt werden.
Projektbezogene Publikationen (Auswahl)
-
(2019). Emotion Prediction with Weighted Appraisal Models— Validating a Psychological Theory of Affect. IEEE Transactions on Affective Computing
Israel, L. S. F., & Schönbrodt, F. D.
-
(2020). Measuring Implicit Motives With the Picture Story Exercise (PSE): Databases of Expert-Coded German Stories, Pictures, and Updated Picture Norms. Journal of Personality Assessment, 103, 392–405
Schönbrodt, F. D., Hagemeyer, B., Brandstätter, V., Czikmantori, T., Gröpel, P., Hennecke, M., Israel, L. S. F., …, Schultheiss, O. C.
-
(2021). Open Library for Affective Videos (OpenLAV). PsychArchives
Israel, L., Paukner, P., Schiestel, L., Diepold, K., & Schönbrodt, F.
-
(2021). Predicting affective appraisals from facial expressions and physiology using machine learning. Behavior Research Methods, 53, 574–592
Israel, L. S. F., & Schönbrodt, F. D.
