TherapAI - Analyse des nonverbalen Emotionsausdrucks in der Psychotherapie mittels künstlicher Intelligenz

• Antragstellerinnen / Antragsteller: Professorin Dr. Elisabeth André; Professor Dr. Wolfgang Lutz
• Fachliche Zuordnung: Persönlichkeitspsychologie, Klinische und Medizinische Psychologie, Methoden ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 493169211

Hintergrund: Der Umgang mit Emotionen in der Psychotherapie ist von hoher Relevanz für Therapieergebnis und -prozess, insb. bei emotionalen Störungen wie Depressionen. Studien zeigen, dass neben individuellen Emotionen von Patient:innen und Therapeut:innen auch deren emotionale Interaktion (z.B. emotionale Synchronie, ES) eine wichtige Rolle spielt. ES liefert relevante Informationen für den Therapieprozess, insb. bei Personen mit gestörter Wahrnehmung und gestörtem Ausdruck von Emotionen (z.B. bei Depressionen). Studien zu Emotionen und ES basieren jedoch häufig auf Selbstauskünften oder kleinen Stichproben, da manuelle Ratings zeitaufwändig sind. Eine Videoanalysesoftware mit künstlicher Intelligenz (KI) wie der Nonverbal Behavior Analyzer (NOVA) kann den Ratingprozess automatisieren, erleichtern und verbessern. Dadurch bietet NOVA neue Chancen zur Untersuchung von Emotionen und emotionalen Interaktionen in der Therapie. Ziel: Ziel ist, zu untersuchen, wie Emotionen und ES von Patient:innen und Therapeut:innen, automatisch erfasst von NOVA, mit Ergebnisvariablen, Symptomreduktion, Dropout, Veränderung von Sitzung zu Sitzung und Prozessvariablen (Bewältigungsstrategien, Therapiebeziehung, emotionale Beteiligung) in einer Stichprobe von Personen mit Depressionen (F32, F33, diagnostiziert mit SKID-5) zusammenhängen. NOVA wird auf Basis der Erkenntnisse aus der praktischen Anwendung an die klinischen Bedürfnisse angepasst. Benutzerfreundlichkeit und Verständlichkeit der Funktionen sollen erweitert werden. Zur Replikation der Ergebnisse werden die Modelle frei zur Verfügung gestellt.Methode: Die Stichprobe besteht aus N = 200 Therapeut:innen und Patient:innen (ca. 1800 Videos á 50 Min.). NOVA wird trainiert, die Emotionen und ES von Patient:innen und Therapeut:innen in den Videos zu erkennen. Zu diesem Zweck kodieren geschulte Rater manuell Valenz und Arousal des Emotionsausdrucks in vier Sitzungen pro Dyade. Auf Basis der manuellen Ratings lernt NOVA, Emotionen in anderen Videos automatisch zu bewerten. Modelle werden in 70% (n = 140) der Daten trainiert und in 30% (n = 60) zehnmal getestet, um das beste Modell auszuwählen. Dann verwendet NOVA das finale Modell, um Emotionen in allen Videos der ersten zehn Sitzungen der 200 Dyaden automatisch zu erfassen. Anschließend wird ES berechnet. Die ca. 1800 Sitzungen (10% Missings berücksichtigt) werden verwendet, um zu testen, wie die durchschnittlichen Niveaus der Emotionen und ES mit Ergebnisvariablen, Dropout, Veränderung von Sitzung zu Sitzung und Prozessvariablen (Bewältigungsstrategien, Therapiebeziehung, emotionale Beteiligung) zusammenhängen, wobei mehrstufige lineare Modelle und logistische Regressionen verwendet werden.Diskussion: Wegen der Bedeutung von Emotionen für psychische Störungen und Psychotherapie erweitert die hier entwickelte automatisierte Analyse von Emotionen die Möglichkeiten der Psychotherapieforschung bzgl. der Messung und Vorhersage von Therapieergebnissen und -prozessen.

• DFG-Verfahren: Sachbeihilfen