Modelle, Maße, Moderatoren - Exploration und Erklärung von Heterogenität in psychologischen Replikationen

• Antragsteller: Professor Dr. Moritz Heene; Professor Dr. Frank Renkewitz
• Fachliche Zuordnung: Persönlichkeitspsychologie, Klinische und Medizinische Psychologie, Methoden
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464590891

Seit dem Beginn der Replikationskrise wird die Heterogenität von Effektgrößen als eine mögliche Ursache für geringe Replizierbarkeit diskutiert. Allerdings weisen die meisten Meta-Meta-Studien zu dieser Heterogenität methodische Mängel auf. Insbesondere verwenden sie häufig standardisierte Effektgrößen oder setzen das Ausmaß an Heterogenität nicht mit der Größe des Effekts in Beziehung. Beide Praktiken haben, wie wir in der ersten Förderphase von META-REP zeigen konnten, negative Auswirkungen auf die Genauigkeit und Interpretierbarkeit von Heterogenitätsschätzungen. Wir schlagen daher vor, Heterogenität mittels eines alternativen Maßes zu bewerten, nämlich mittels des Variationskoeffizienten der unstandardisierten Effekte. Durch die Verwendung dieses Maßes konnten wir, im Gegensatz zu früheren Meta-Meta-Studien, eine erhebliche und theoretisch relevante Heterogenität sogar in direkten Replikationen psychologischer Effekte feststellen. Aufbauend auf diesen Erkenntnissen werden wir in der zweiten Förderphase von META-REP drei Ziele verfolgen: Wir wollen, erstens, die Messung von Heterogenität in Replikationen verbessern und die Interpretierbarkeit der entsprechenden Ergebnisse erhöhen. Wir streben, zweitens, an, das empirische Wissen über Heterogenität in psychologischen Replikationen zu erweitern. Schließlich ist unser drittes Ziel, Heterogenität zu erklären, indem wir sie auf identifizierte Variablen zurückführen. Konkret schlagen wir vier Module vor, um diese Ziele zu erreichen: Modul 1: In Simulationen entwickeln wir datengenerierende Modelle, die die Entstehung von Heterogenität in Effektgrößen präzise beschreiben. Zur Messung der Heterogenität werden dann sowohl Standard-Indizes als auch der Variationskoeffizient verwendet, um mögliche Verzerrungen in Heterogenitätsschätzungen zu untersuchen und die relative statistische Performanz der Verfahren zu vergleichen. Modul 2: Anhand empirischer Daten aus konzeptuellen Replikationen wollen wir Heterogenität über mehrere experimentelle Kontextfaktoren hinweg betrachten. Wir vergleichen Heterogenität a) über verschiedene Arten von Effekten, b) über verschiedene Operationalisierungen der gleichen Manipulation und c) unter Berücksichtigung möglicher Moderatoren. Modul 3: In den Modulen 1 und 2 beschränken wir uns auf Vergleiche zwischen identischen Messvariablen. In Meta-Analysen werden jedoch in der Regel mehrere verschiedene Messgrößen zusammengefasst. Daher erweitern wir das Simulationsschema und die empirische Datenbasis, um solche Variation untersuchen zu können. Modul 4: In der ersten Förderphase dieses Projekts haben wir die Softwareumgebung "MetaPipeX" entwickelt, um metaanalytische Inferenzen zu vereinheitlichen und ein Repositorium mit standardisierten, offenen Daten aufzubauen. Basierend auf den Modulen 1-3 erweitern wir MetaPipeX, um konzeptionelle Replikationen, Moderatorenanalysen und ähnliche Elemente zu integrieren und die in den Modulen 1-3 verwendeten Daten einzubeziehen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2317: META-REP: Ein meta-wissenschaftliches Programm zur Analyse und Optimierung von Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften
• Internationaler Bezug: Großbritannien, Niederlande
• Kooperationspartner: Dr. Johannes Hönekopp; Professor Dr. Jelte Wicherts