Anwendung von Validitätsprinzipien in Metastudien zur Überprüfung von Kausalbeziehungen

• Antragsteller: Dr. Marc Jekel
• Fachliche Zuordnung: Allgemeine, Kognitive und Mathematische Psychologie ; Sozialpsychologie und Arbeits- und Organisationspsychologie
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464547651

Metastudien wurden als Methode vorgeschlagen, um die Replizierbarkeit und Generalisierbarkeit experimenteller Ergebnisse durch Überprüfung von potentiellen Moderatoren zu testen. Diese Methode umfasst die Durchführung einer Reihe von Studien mit wenigen Probanden, in denen jeweils die Eigenschaften der Aufgaben modifiziert und diverse Probandenstichproben einbezogen werden. Dieser Ansatz, der auch unter dem Begriff der radikalen Randomisierung firmiert, entfernt sich von klassischen experimentellen Studien, in denen die Eigenschaften von Manipulationen und Messinstrumenten in der Regel nicht variiert werden. Metastudien führen zu einem nuancierterem Verständnis der untersuchten Phänomene, was zur Theorieentwicklung beiträgt. In unserem Antrag erweitern wir die Methode von Metastudien, indem wir Validitätsprinzipien berücksitigen, die im aktuellen Ansatz bisher wenig Beachtung finden. Wir konzentrieren uns auf zwei Schlüsselaspekte in unserer Erweiterung von Metastudien: die Überprüfung der Wirksamkeit von Manipulationen und die funktionalen Beziehungen zwischen der unabhängigen und der abhängigen Variablen. Unsere Demonstration der Erweiterung wird sich auf zwei häufig manipulierte Konstrukte konzentrieren: intuitive kognitive Verarbeitung und Affekt. Wir werden den kausalen Zusammenhang der beiden Konstrukte zu Kooperationsverhalten untersuchen. Replikationsstudien und Metaanalysen haben gemischte Ergebnisse für die Beziehung zwischen Intuition und Kooperation gezeigt, was teilweise auf Validitätsprobleme zurückgeführt werden könnte. Um die Konstruktvalidität von Manipulationen zu bewerten, werden wir in Pilotstudien die Wirksamkeit verschiedener Manipulationen von Intuition und Affekt untersuchen und diese Manipulationen in unserer Metastudie nutzen. Um die statistische Konklusionvalidität zu erhöhen, werden wir einen kürzlich vorgeschlagenen maschinellen Lernansatz nutzen. Dieser Ansatz kann im Prinzip jede funktionale Beziehung zwischen Manipulationen und Maßen erfassen, was einen Vorteil gegenüber typischen statistischen Modellen mit (oftmals linearen) Funktionen bietet. Mit den Ergebnissen unserer Metastudie planen wir, mithilfe von Computersimulationen Replikationsraten und Replikationseffektgrößen für unsere kausale Beziehung vorherzusagen. Um unsere Ergebnisse weiter zu validieren, haben wir eine Replikationsstudie geplant, um Vorhersagen über Effektgrößen zu testen, die aus diesen Simulationen abgeleitet wurden. Unser Antrag zielt darauf ab, zu verstehen, warum Effektgrößen in Replikationsstudien variieren und wie Methoden zur Vorhersage dieser Größen basierend auf den Eigenschaften von Manipulationen und Messungen, Teilnehmermerkmalen und ihren funktionalen Beziehungen zur abhängigen Variablen beitragen können.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2317: META-REP: Ein meta-wissenschaftliches Programm zur Analyse und Optimierung von Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften
• Mitverantwortlich(e): Dr. Dorothee Mischkowski