Menschliche Manipulationshandlungen: Neurophysiologische Validierung ihrer formalen Charakterisierung
Kognitive, systemische und Verhaltensneurobiologie
Zusammenfassung der Projektergebnisse
Dieses Projekt bestand aus zwei Teilen: einem theoriebasierten Teil, in dem wir versuchten, einen besseren Einblick in die Art und Weise zu bekommen, wie Menschen Manipulationshandlungen anderer verstehen, und einem experimentellen Teil, in dem wir Hypothesen, die sich aus den theoretischen Untersuchungen ergaben, mit Hilfe von Verhaltens- und fMRI-Experimenten testen wollten. Die theoretischen Untersuchungen führten direkt zu einem Verhaltensexperiment, in dem wir bestimmte Vorhersagen in der virtuellen Realität testeten. Weiterhin wurden diese theoretischen Vorhersagen in zwei fMRI-Experimenten untersucht, die zusätzlich durch eine behaviorale Test-Retest-Studie unterstützt wurden. Die wichtigsten Ergebnisse sind: Wir haben eine theoretische Analyse menschlicher Manipulationshandlungen durchgeführt, die sich auf die Veränderung der räumlich-zeitlichen Beziehungen zwischen Objekten (einschließlich der Hände) in einer Szene konzentriert. Der zugrunde liegende Algorithmus basiert auf Computer Vision und ist objektiv in dem Sinne, dass er ohne menschliches Zutun funktioniert. Handlungen werden in dem Moment erkannt, in dem bestimmte Ereignisse eintreten, und wir konnten experimentell zeigen, dass Menschen in den meisten Fällen dieselben Ereignisse zur Erkennung einer Handlung verwenden. Dieses Ergebnis wurde durch eine Test- Retest-Studie vertieft, die zeigte, dass die Segmentierung menschlicher Handlungen mit den auf dem Computersehen basierenden Berührungs- und Nicht-Berührungsereignissen übereinstimmt. Bei der Modellierung der fMRI-Aktivität während der Beobachtung derselben Handlungen stellten wir fest, dass die Segmentierung mit einen starken Anstieg der visuellen Aktivität während der Berührungsereignisse begann, gefolgt von einer Aktivierung der frontalen, hippocampalen und Insula-Regionen, die eine Aktualisierung der Erwartung während der nachfolgenden Nicht-Berührungsereignisse signalisieren. Indem wir reale Objekte durch Teigkugeln ersetzten, untersuchten wir in der zweiten fMRT-Studie zusätzlich die Rolle von Objekten bei der Handlungssegmentierung. Hier zeigten die fMRT-Ergebnisse, dass Segmentierungsurteile noch strikter an die Kriterien des Algorithmus gebunden wurden und bewegungsbezogene Hirnregionen eine stärkere Rolle spielen als in der Situation, in der reale Objekte vorhanden sind. Schließlich zeigten wir mit Hilfe von repräsentativen Ähnlichkeits- und multidimensionalen Skalierungsansätzen, dass die algorithmisch bestimmte Struktur Vorhersagen über die Handlungsklassifizierung machen kann, wie sie in Verhaltens- und Gehirndaten zum Ausdruck kommt.
Projektbezogene Publikationen (Auswahl)
-
Recognition and prediction of manipulation actions using Enriched Semantic Event Chains. Robotics and Autonomous Systems, 110, 173-188.
Ziaeetabar, Fatemeh; Kulvicius, Tomas; Tamosiunaite, Minija & Wörgötter, Florentin
-
Humans Predict Action using Grammar-like Structures. Scientific Reports, 10(1).
Wörgötter, F.; Ziaeetabar, F.; Pfeiffer, S.; Kaya, O.; Kulvicius, T. & Tamosiunaite, M.
-
Using enriched semantic event chains to model human action prediction based on (minimal) spatial information. PLOS ONE, 15(12), e0243829.
Ziaeetabar, Fatemeh; Pomp, Jennifer; Pfeiffer, Stefan; El-Sourani, Nadiya; Schubotz, Ricarda I.; Tamosiunaite, Minija & Wörgötter, Florentin
-
Touching events predict human action segmentation in brain and behavior. NeuroImage, 243, 118534.
Pomp, Jennifer; Heins, Nina; Trempler, Ima; Kulvicius, Tomas; Tamosiunaite, Minija; Mecklenbrauck, Falko; Wurm, Moritz F.; Wörgötter, Florentin & Schubotz, Ricarda I.
