Impact of non-photorealistic rendering for the understanding of emotional facial expressions by children and adolescents with high-functioning Autism Spectrum Disorders

• Applicants: Dr. Diana Arellano; Professor Dr. Oliver Deussen; Dr. Reinhold Rauh
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing ; Personality Psychology, Clinical and Medical Psychology, Methodology
• Term: from 2013 to 2017
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 233623354

• Final Report Year: 2019

Final Report Abstract

In diesem Projekt soll die Auswirkung von computer-generierten und animierten abstrakten Gesichtsausdrücken auf die Emotionserkennung von Individuen mit Autismusspektrumstörung (Autism Spectrum Disorders, ASD) und Aufmerksamkeitsdefizit-/Hyperaktivitätsstörung (Attention-Deficit/Hyperactivity Disorder, ADHD) im Vergleich zu neurotypisch entwickelten Personen (Neurotypically Develped, NTD) untersucht werden. Die Darstellung der Gesichtsausdrücke in verschiedenen Abstraktionsgraden erlaubt es zu analysieren, inwiefern eine Reduktion der visuellen Informationen hilfreich für diese Personen sein kann, um Emotionen besser wahrzunehmen. In einem ersten Schritt wurden verschiedene Abstraktionsstile aus dem Bereich des Non-Photorealistic Renderings (NPR) mit Echtzeitfähigkeit und zeitlicher Kohärenz selektiert, und in einem gemeinsamen Framework für die Animation von virtuellen Charakteren implementiert. Diese Techniken, zusammen mit parametrisierbaren Charakteranimationen und einem psychologischen Versuchsaufbau, wurden als gemeinsames Framework vorgestellt und publiziert. Die Neuheit hier ist, dass die Gesichtsanimationen der virtuellen Charaktere in Echtzeit generiert werden, mit Parametern Geschwindigkeit, Intensität, und Abstraktionsgrad. Die Validität des Ansatzes für die Untersuchung von Emotionserkennung, ohne die Abstraktion mithilfe von NPR Techniken, wurde zuvor bereits in einer gemeinsamen Publikation festgestellt. Als nächstes wurde der gleiche Untersuchungsansatz zusätzlich mit den abstrakten Darstellungen durchgeführt. Die Auswirkung von verschiedenen Abstraktionsstilen und Abstraktionsgraden auf die Wahrnehmung und Kategorisierung von 6 Basis-Emotionen wurde untersucht. Hierbei wurde festgestellt, dass die Genauigkeit der Emotionserkennung der ASD-Gruppe nicht von den Abstraktionsstilen beeinflusst wurde und ähnlich der Genauigkeit für realistisch gerenderte Charaktere war. Dieser Effekt trat allerdings nicht in der ADHD und NTD-Gruppe auf: Für ADHD konnte eine höhere Genauigkeit für einige Stile beobachtet werden, während NTD wie erwartet generell besser abgeschnitten hat. Erstaunlicherweise führte ein stärkerer Abstraktionsgrad, und damit geringere Menge an Details, nicht zu einer höherer Genauigkeit für die ASD-Gruppe. Zusätzlich wurde noch der Zusammenhang zwischen Blickverhalten, ASD, und Alexithymie (d.h. Schwierigkeiten beim Ausdruck von Emotionen) mithilfe von Eye-Tracking untersucht. In einem nächsten Schritt wurden Abstraktionsstile entwickelt, welche eine lokale Kontrolle über den Abstraktionsgrad erlauben, womit gewissen Regionen (z.B. Mund, Augen) weniger stark abstrahiert werden können. Die Idee hier ist, dass manche Regionen wichtiger für die Wahrnehmung von Emotionen sind als andere, und deswegen besonders behandelt werden sollten. Hierbei ist unter anderem ein neuer Algorithmus zum Linienzeichnen entstanden. Die Ergebnisse haben gezeigt, dass die Evaluation bzw. Anwendung dieser Abstraktionstechniken sehr komplex ist: Der Abstraktionsgrad ist nicht-linear von den Parametern des jeweiligen Algorithmus abhängig und muss oft subjektiv abgeschätzt werden. Außerdem sind Wahrnehmung und Qualität dieser visuellen Abstraktionen schwer vorhersehbar. In einem aktuellen Projekt haben wir uns schon genau dieser Evaluations-Problematik gewidmet welche, eine quantitative Evaluation solcher Abstraktionsstile erlaubt. Wir beschreiben einen Ansatz, um die Abstraktionsqualität eines NPR Algorithmus quantitativ zu beschreiben. Die Anwendung solcher Methoden mit quantitativen Abstraktionseigenschaften und die Rolle von lokaler Kontrolle, z.B. über Salienz-Informationen, ist zur Zeit Gegenstand unserer Forschung.

Publications

• "Depth-aware Coherent Line Drawings", in SIGGRAPH Asia 2015 Technical Briefs, Kobe, Japan: ACM, 2015, 1:1–1:5, isbn: 978-1-4503-3930- 8
  M. Spicker, J. Kratt, D. Arellano und O. Deussen
  
• "On the Trail of Facial Processing in Autism Spectrum Disorders", in Intelligent Virtual Agents: 15th International Conference, IVA 2015, Delft, The Netherlands, August 26-28, 2015, Proceedings. Springer International Publishing, 2015, S. 432–441, isbn: 978-3-319-21996-7
  D. Arellano, U. Schaller, R. Rauh, V. Helzle, M. Spicker und O. Deussen
  
• "The SARA Project: An Interactive Sandbox for Research on Autism", in Proceedings of the XVI International Conference on Human Computer Interaction, Vilanova i la Geltrú, Spain: ACM, 2015, 17:1–17:4, isbn: 978-1-4503-3463-1
  D. Arellano, V. Helzle, U. M. Schaller, R. Rauh, M. Spicker und O. Deussen
  
• "Emotion Recognition in Autism Spectrum Disorder: Does Stylization Help?", in Proceedings of the ACM Symposium on Applied Perception, Anaheim, California: ACM, 2016, S. 97–104, isbn: 978-1-4503-4383-1
  M. Spicker, D. Arellano, U. Schaller, R. Rauh, V. Helzle und O. Deussen
  
• "Interactive Testbed for Research in Autism : the SARA Project", Universal Access in the Information Society (UAIS), 2017, issn: 1615-5289
  D. Allerano, R. Rauh, B. Krautheim, M. Spicker, U. M. Schaller, V. Helzle und O. Deussen