Detailseite
Projekt
Heterogenität in direkten Replikationen: Zur Rolle von methodischen Artefakten
Antragsteller
Professor Dr. Moritz Heene; Professor Dr. Frank Renkewitz
Fachliche Zuordnung
Persönlichkeitspsychologie, Klinische und Medizinische Psychologie, Methoden
Förderung
Förderung seit 2021
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464590891
Niedrige Replikationsraten bedrängen die Psychologie seit etwa fünf Jahren. In diesem Zeitraum haben groß angelegte Replikationsprojekte selbst für klassische psychologischen Studien niedrige Replikationsraten aufgezeigt.Die Variation wahrer Effekte zwischen Replikationsstudien (im Folgenden als „Heterogenität“ bezeichnet) und systematische Biases (z.B. Publikations Biases oder „p-hacking“) wurden als mögliche Ursachen diskutiert. Ein zentrales Ziel dieses Projekts ist es, eine valide Schätzung der Heterogenität in direkten Replikationen psychologsicher Effekte zu liefern. Mit diesem Ziel wollen wir zum „Was“-Aspekt des META-REP-Programms beitragen: Wir werden Effekte und möglicherweise Forschungsbereiche identifizieren, die von Heterogenität betroffen und daher weniger replizierbar sind. Heterogenität ist in konzeptuellen Replikationen zu erwarten, da derartige Replikationen die Variation theoretisch relevanter Studiencharakteristiken zulassen. Dies trifft hingegen nicht auf direkte Replikationen zu, in denen alle theoretisch spezifizierten Variablen und Moderatoren kontrolliert werden. Eine Abschätzung des Ausmaßes der Heterogenität in direkten Replikationen wurde erst kürzlich durch groß angelegte Replikationsprojekte möglich. Solche Projekte bieten die Gelegenheit zu einer Untersuchung von Heterogenität in Meta-Analysen ohne die Bedrohungen durch Publikations Biases oder fragwürdige Forschungspraktiken. Erste Ergebnisse deuteten darauf hin, das Heterogenität in direkten Replikationen tatsächlich geringer ausgeprägt ist als in konzeptuellen Replikationen, aber dennoch mit beachtenswerter Häufigkeit auftritt. Dies führte zu verschiedenen Versuchen, mögliche theorierelevante effektmoderierende Kontextvariablen zu identifizieren. Wir zeigen jedoch auf, dass Heterogenität in direkten Replikationen auch durch verschiedene statistische und methodische Artefakte verursacht worden sein kann, die bislang nicht ausreichend untersucht wurden. Zu diesen Artefakten zählen Varianzeinschränkungen, die Messfehlerbehaftetheit der uV und aV sowie sub-optimale Datenmodelle in der statistischen Analyse. Einige dieser Artefakte können vermieden werden, wenn sich die Heterogenitätsanalyse auf unstandardisierte Effektstärken stützt. Das zweite zentrale Ziel dieses Projekts ist es, eine umfassende Untersuchung der Frage zu liefern, inwieweit die in Replikationsprojekten beobachtete Heterogenität auf solche Artefakte zurückgeht. Zugleich wollen wir durch Simulationsstudien ermitteln, in welchem Umfang diese Artefakte unter verschiedenen realistischen Szenarien Heterogenität in standardisierten und unstandardisierten Effektstärken erzeugen können. Mit diesem zweiten Ziel adressieren wir den „Warum“-Aspekt des META-REP-Programms.
DFG-Verfahren
Schwerpunktprogramme
