Klassifikation der emotionalen Wirkung von Filmszenen Bewertung des emotionalen Erlebnisses einer Multimedia-Präsentation aus Bild und Ton

• Antragsteller: Professor Dr.-Ing. Klaus Diepold; Professor Dr. Felix Schönbrodt
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Allgemeine, Kognitive und Mathematische Psychologie ; Elektronische Halbleiter, Bauelemente und Schaltungen, Integrierte Systeme, Sensorik, Theoretische Elektrotechnik ; Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
• Förderung: Förderung von 2016 bis 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 289289379

Mit Blick auf Multimediainhalte versucht das Konzept der Quality of Experience (QoE) zu erfassen, welches subjektive Qualitätserleben ein Betrachter des Inhaltes hat. In dem hier beantragten Forschungsprojekt soll die QoE um einen zentraler Faktor erweitert werden, nämlich den emotionalen Zustand, der beim Betrachten von Videos hervorgerufen wird. Kern des Forschungsprojektes ist es, mithilfe von algorithmischen Verfahren aus objektiven Videomerkmalen emotionale Schlüsselreize zu extrahieren, welche dann zur Vorhersage der vom Betrachter erlebten Emotion genutzt werden.Um diese Forschungsfrage quantitativ und für technische Anwendungen erfassbar zu machen, sollen in dem interdisziplinären Projekt psychologische Emotionsmodelle herangezogen und weiterentwickelt werden, für die Ingenieure dann berechenbare Implementierungen entwickeln. Durch einen Vergleich zwischen dem maschinell vorhergesagten emotionalen Zustand und dem tatsächlichen emotionalen Zustand der Betrachter können mit Methoden des überwachten maschinellen Lernens Berechnungsmodelle instrumentiert werden. Diese Lernphase soll mit Verfahren des Crowdsourcing realisiert werden, wodurch bei geringen Kosten eine große Menge an Testpersonen erreicht werden kann. Das ermöglicht zum einen eine breite Generalisierbarkeit der Ergebnisse, zum anderen erlaubt es den Einfluss von Persönlichkeitsmerkmalen der Betrachter auf die emotionsauslösende Wirkung der Videos zu untersuchen. In einem kontrollierten Laborexperiment sollen die online gewonnenen Ergebnisse kreuzvalidiert und erweitert werden, indem auch indirekte und objektive Maße für die erlebte Emotion erhoben werden (Elektromyographie der Mimikmuskeln; Kodierung von (Mikro-)Emotionen aus Videoaufnahme des Betrachters). Das interdisziplinäre Projekt von Wissenschaftlern der Psychologie und Ingenieuren der Informationstechnik soll die folgenden Forschungsfragen bearbeiten:a) Ist es möglich eine Abbildung von automatisch extrahierten Videomerkmalen auf emotional relevante Schlüsselreize zu bestimmen?b) Sind psychologische Modelle in der Lage, basierend auf den emotional relevanten Schlüsselreizen und Persönlichkeitsmerkmalen des Betrachters vorherzusagen, welche Emotion beim Betrachten eines Videos ausgelöst wird?Die Ziele des Projekts sind zum einen, existierende psychologische Emotionsmodelle technisch zu implementieren, anhand umfangreicher empirischer Daten zu validieren, und anhand der gewonnenen Erkenntnisse weiterzuentwickeln. Zum anderen soll die technische Plattform zur Merkmalsextraktion eingesetzt werden, um große Mengen von Videos automatisch nach ihrer emotionsauslösenden Wirkung zu klassifizieren. Darüber hinaus wird zum Abschluss des Projekts eine standardisierte Datenbank von Videos bereitstehen, deren emotionsauslösende Wirkung bekannt ist. Wir erwarten, dass solch eine Datenbank einen großen Nutzen und Impact für weitere Forschung im Bereich menschlicher Emotionen haben wird.

• DFG-Verfahren: Sachbeihilfen