Detailseite
Projekt
Gescheiterte Replikationen replizieren: Ein validitätsbasierter Ansatz zur Vorhersage von Replikationserfolg
Antragsteller
Dr. Marc Jekel
Fachliche Zuordnung
Allgemeine, Kognitive und Mathematische Psychologie
Sozialpsychologie und Arbeits- und Organisationspsychologie
Sozialpsychologie und Arbeits- und Organisationspsychologie
Förderung
Förderung seit 2021
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464547651
Ein statistisch signifikanter Befund in einer Originalstudie und ein nicht-signifikanter Befund in der zugehörigen Replikationsstudie kann zustande kommen, wenn Verletzungen der statistischen Konklusionsvalidität, der Konstruktvalidität, der internen Validität oder der externen Validität in der Original- oder Replikationsstudie vorliegen. Vergangene Forschung zur Replizierbarkeit von Befunden in der Psychologie hat sich insbesondere den Einfluss von Verletzungen der statistischen Konklusionsvalidität in Originalstudien auf die Replizierbarkeit angeschaut (z.B. erhöhte alpha-Fehler aufgrund von fragwürdiger Forschungspraxis, überschätzte Effektstärken aufgrund geringer statistischer Power in Originalstudien). Untersuchungen zu Verletzungen der anderen genannten Validitäten sind bisher in der Forschung zur Replikationsdebatte unterrepräsentiert. Im beantragten Projekt soll der Replikationserfolg basierend auf Eigenschaften von Original- und Replikationsstudien unter Berücksichtigung eines potenziell nonlinearen statistischen Modells aus dem Bereich des Maschinenlernens vorhergesagt werden. Die erste Klasse von Eigenschaften, die im Modell als Prädiktoren verwendet werden, umfasst Indikatoren der verschiedenen Validitäten, die zu einer umfassenden Kodierung von Original- und Replikationsstudien verwendet werden. Die zweite Klasse besteht aus Befragungen der Experten der untersuchten Studien: Wir werden Original- und Replikationsautoren und -autorinnen befragen, in welchem Ausmaß sie die verschiedenen Arten der Validität in den Studien beachtet und kontrolliert haben. Zusätzlich werden wir Autorinnen und Autoren von gescheiterten Replikationen anhand eines offenen Antwortformats nach Gründen für die misslungene Replikation des primären Effekts ihrer Studie befragen. Unter Anwendung unseres Modells sollen gescheiterte Replikationen ausgewählt werden, deren vorhergesagter Replikationserfolg dennoch hoch eingeschätzt wird. Um unser modellbasiertes Vorgehen bei der Auswahl von gescheiterten Replikationsstudien zu demonstrieren, werden wir eine kleine Auswahl dieser Studien noch einmal unter optimierten Studienbedingungen replizieren. Die Kodierungen der Original- und Replikationsstudien sowie die Ergebnisse der Befragung der Autoren und Autorinnen werden in einer standardisierten Datenbank für andere Forscher und Forscherinnen, die an Metaforschung interessiert sind, zur Verfügung gestellt.
DFG-Verfahren
Schwerpunktprogramme
