Digitales Produkt - Digitaler Nutzer (DPDN)
Zusammenfassung der Projektergebnisse
Das Projekt zielte darauf ab, durch Zusammenführung der Felder der kognitiven Modellierung räumlicher Interaktion und der neurowissenschaftlichen Grundlagenforschung zu räumlichen Fähigkeiten eine inhaltliche und methodische Weiterentwicklung zu erzielen. Es ermöglicht beiden Projektpartnern wertvolle Einblicke in spezifische Fragestellungen der jeweiligen Forschungsfelder zu gewinnen und dabei Synergieeffekte zu erzielen, und über das hinauszugehen, was mit isolierten biopsychologischen oder kognitiven Modellierungsmethoden möglich wär. Das Hauptziel war es, ein tieferes Verständnis über menschliche räumliche Fähigkeiten und Prozesse zu entwickeln, indem verschiedene Methoden in gemeinsam entwickelten Studienparadigmen verwendet wurden. Diese Methoden sind kognitive Modellierung, EEG-Methoden, experimentelle Verhaltensdaten und Studien zur Mensch-Maschine Interaktion. In einer Serie von 4 Experimenten wurden Probandendaten und Prädiktionen von kognitiven Modellen im Hinblick auf ihre Interaktion mit virtuellen und realen Produkten untersucht. In 3 Experimenten wurden vor allem die räumlichen Fähigkeiten des mentalen Drehens und des mentalen Faltens an abstrakten Objekten am Monitor untersucht. Mentale Rotation beschreibt die Fähigkeit, ein abgebildetes Objekt mental zu drehen. Mentales Falten basiert auf der Vorstellung, Objekte wie Würfelnetze im Kopf zusammenzufalten. Dazu werden normalerweise zwei Bilder gezeigt. Im Anschluss soll eine Aussage darüber getroffen werden, ob die beiden gezeigten Objekte identisch sind. In der vierten Versuchsanordnung mussten die Teilnehmer mit einem virtuellen Operationstisch und einem realen Operationstisch interagieren und diese in unterschiedliche räumliche Konfigurationen bringen, die ein Falten und Drehen der mentalen Repräsentationen erforderlich machen. Das erste und zweite Experiment konzentrierte sich jeweils auf die isolierten Fähigkeiten des mentalen Faltens oder der mentalen Rotation. Das dritte Experiment kombiniert die beiden Prozesse. Das vierte Experiment verwendet das Produktbeispiel eines Operationstisches als ein reales Objekt welches ebenfalls gefaltet und/oder rotiert werden musste um für die Handlungsplanung das Objekt in die richtige Stellung zu bekommen. EEG-Daten wurden aufgezeichnet, um z.B. die Hirndynamik und die Quellenlokalisierung für die spezifischen zeitlichen Muster zu erhalten und ein tieferes Verständnis über spezifischen Strukturen zu gewinnen, die für verschiedene Formen der räumlichen Transformation verantwortlich sind. Mithilfe kognitiver Modellierung konnten theoretische Annahmen über die beteiligten kognitiven Prozesse der mentalen räumlichen Transformation mit einem computationalen Ansatz simulieren und die Daten anhand von EEG Daten und behavioraler Daten in Bezug gesetzt werden. Die Modellannahmen beinhalten zum einen Vorhersage der Dauer räumlicher Transformationsprozesse, aber auch die Beteiligung von visueller Kodierung, räumlicher Repräsentation und Gedächtnisprozessen. Auf dieser Grundlage zeigten die kognitiven Modelle eine hohe Vorhersagegenauigkeit für die Reaktionszeiten und das Lernverhalten der Versuchsteilnehmer. Darüber hinaus wurden die von den Modellen vorgeschlagenen Intra-Trial-Prozesse mit den während der Experimente aufgezeichneten EEG-Daten verglichen und gaben Aufschluss über die räumliche Kognition, insbesondere über den Einfluss der Aufgabenschwierigkeit, die Identifizierung der beteiligten Hirnareale und die unterschiedlichen Anforderungen von räumlicher Repräsentation und Gedächtnis. Die kognitiven Modelle eine hohe Vorhersagegenauigkeit für die Reaktionszeiten und das Lernverhalten der Versuchsteilnehmer. Darüber hinaus wurden die von den Modellen vorgeschlagenen intra-trialen Prozesse mit dem während der Experimente aufgezeichneten EEG verglichen und lieferten Einblicke in die beteiligten kognitiven Prozesse, insbesondere in den Einfluss der Aufgabenschwierigkeit, die Identifizierung der beteiligten Hirnareale und die unterschiedlichen Anforderungen an die räumliche Darstellung und Transformation je nach Aufgabenmodalität. Zusätzlich wurde eine gebrauchsfertige Produktionspipeline für die Verbindung kognitiver Modelle mit ihrem digitalen Zwilling entwickelt.
Projektbezogene Publikationen (Auswahl)
-
Kognitives Modell zu combined Mental Rotation & Folding
Preuss, Kai
-
Kognitives Modell zu Mental Folding
Preuss, Kai
-
Kognitives Modell zu Mental Rotation
Preuss, Kai
-
Mental Rotation and Mental Folding online experiment implementation
Hilton, Christopher
-
Verallgemeinertes räumliches Modul für kognitive Modellierung in ACT-R
Preuss, Kai
-
Verhaltensdaten "Interaktion mit Medizintechnik"
Preuss, Kai
-
An implementation of Universal Spatial Transformative Cognition in ACT-R. In Proceedings of the 17th International Conference on Cognitive Modelling.
Preuss, Kai.; Raddatz, Leonie & Russwinkel, Nele
-
Proposing a Cognitive System for Universal Mental Spatial Transformations. Poster presented at the 41st Annual Conference of the Cognitive Science Society. Montreal, Quebec, Canada.
Preuss, Kai & Russwinkel, Nele
-
Cognitive Processing Stages During Mental Folding Are Reflected in Eye Movements. ACM Symposium on Eye Tracking Research and Applications, 1-5. ACM.
Preuss, Kai; Hilton, Christopher; Gramann, Klaus & Russwinkel, Nele
-
Workload-over-time modeling in a cognitive architecture. Presentation during the Mental Effort Workshop as part of the 42nd Annual Meeting of the Cognitive Science Society.
Russwinkel, Nele & Preuss, Kai
-
Cognitive Modelling of a Mental Rotation Task Using a Generalized Spatial Framework. In Proceedings of the 19th International Conference on Cognitive Modelling.
Preuss, Kai & Russwinkel, Nele
-
Lessons Learned From Modelling Situated Cognitive Agents Interacting With a Dynamic Environment. At the 19th International Conference on Cognitive
Seiling, L.; Plitt, M.; Schweidler, P.; Klückmann, O.; Befort, L.; Konczir, R.; Reuter, S.; Preuss, K.; Wiese, S. & Russwinkel, N.
-
Verhaltensdaten und EEG-Daten Mental Rotation & Mental Folding
Hilton, Christopher
-
A general spatial transformation process? Assessing the neurophysiological evidence on the similarity of mental rotation and folding. Neuroimage: Reports, 2(2), 100092.
Hilton, Christopher; Raddatz, Leonie & Gramann, Klaus
-
Combining mental rotation and mental folding: Using EEG to understand spatial transformation mechanisms. Talk given at 64th Tagung experimentell arbeitender Psycholog:innen
Hilton, Christopher & Gramann, Klaus
-
Creating cognitive models on mental spatial transformation. Presentation held at the Doctoral Symposium of the German Society for Cognitive Science 2022.
Preuss, Kai
-
Using Cognitive Models and EEG Data To Investigate Spatial Cognition. Poster presented at the 15th Biannual Conference of the German Society for Cognitive Science.
Preuss, Kai & Russwinkel, Nele
-
Cognitive processing stages in mental rotation – How can cognitive modelling inform HsMM-EEG models?. Neuropsychologia, 188, 108615.
Heimisch, Linda; Preuss, Kai & Russwinkel, Nele
-
HsMM-EEG Daten und Analyse zu Mental Rotation für Heimisch et al.
Heimisch, Linda
-
kognitive Simulationsdaten und Analyse zu Mental Rotation für Heimisch et al.
Preuss, Kai
-
Statistik zum Abgleich von Cluster ERPs mit kognitiven Modellen zu Mental Rotation & Mental Folding für Preuss et al.
Preuß, Kai & Hilton, Christopher
-
Towards A Human-Centered Digital Twin. Procedia CIRP, 118, 324-329.
Preuss, Kai; Schulte, Svenja Nicole; Rzazonka, Lukas; Befort, Lilian; Fresemann, Carina; Stark, Rainer & Russwinkel, Nele
