Welche Rolle spielt Messung bei der Replizierbarkeit von empirischen Befunden?

• Antragstellerin: Professorin Dr. Eunike Wetzel
• Fachliche Zuordnung: Persönlichkeitspsychologie, Klinische und Medizinische Psychologie, Methoden
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464394046

Das Ziel dieses Projekts ist es, zu untersuchen, welche Rolle Messung bei der Replizierbarkeit von empirischen Befunden spielt. Wir werden uns auf zwei weit verbreitete, potenziell problematische Messpraktiken konzentrieren: Die Nutzung von 1) ad hoc und 2) modifizierten Skalen. Ad hoc Skalen sind Skalen, die nur für eine bestimmte Studie konstruiert wurden und die nicht (oder nur sehr oberflächlich) validiert wurden. Mit „modifizierte Skalen“ werden Abweichungen von bereits existierenden, validierten Skalen bezeichnet, z.B. hinsichtlich der Itemanzahl, der Itemformulierungen oder des Antwortformats. Wir werden untersuchen, wie diese Praktiken Replikationsraten und die Heterogenität von Effektgrößen beeinflussen. Dazu nutzen wir drei sich ergänzende methodische Ansätze: die Reanalyse empirischer Daten, ein Experiment und eine Simulationsstudie. Studie 1a wird Daten von Replikationsprojekten reanalysieren, die item-basierte Skalen angewendet haben. Wir werden kodieren, welcher Skalentyp in der Originalstudie und den Replikationsstudien verwendet wurde und untersuchen, ob sich die Replizierbarkeit zwischen den Skalentypen unterscheidet. Studie 1b wird die Messeigenschaften von Skalen im GESIS Panel Datensatz systematisch manipulieren und untersuchen, wie dies die Replizierbarkeit von mit diesen Daten berichteten Effekten beeinflusst. Studie 2 wird ein Replikationsprojekt mit mehreren Stichproben zu Effekten aus verschiedenen Gebieten durchführen und dies mit einem Experiment zum Einfluss von Messung auf Replizierbarkeit kombinieren. Bei Studie 3 handelt es sich um eine Simulationsstudie, in der die „Originalskala“ mit ad hoc Skalen und verschiedenen Arten von Modifikationen der Originalskala hinsichtlich der Replizierbarkeit der wahren Effektgrößen verglichen wird. In Studie 2 wird der Fokus auf Modifikationen liegen, die sich am besten empirisch untersuchen lassen, wie der Umformulierung von Items und der Änderung des Antwortformats. In Studie 3 dagegen wird der Fokus auf Modifikationen liegen, die sich gut simulieren lassen, wie der Reduktion der Itemzahl. Wir werden mehrere Indikatoren verwenden, um Replikationserfolg zu operationalisieren. Der wichtigste Indikator wird ein Bayes Factor sein, der für jeden Effekt die Nullhypothese mit der Alternativhypothese vergleicht. Danach werden wir die Replikationsraten zwischen Skalentypen vergleichen. Weiterhin werden wir die Heterogenität von Effektgrößen mit einem meta-analytischen Ansatz quantifizieren und Skalentyp als eine Moderatorvariable einbeziehen. Unser Anwendungskontext ist multidisziplinär und beinhaltet mehrere Bereiche innerhalb der Psychologie sowie die Politik- und Wirtschaftswissenschaften, was uns erlaubt, die Ergebnisse zwischen Feldern zu vergleichen. Zusammenfassend ist der Beitrag dieses Projekts zum Schwerpunktprogramm META-REP und zur meta-wissenschaftlichen Literatur, Messung als ein Faktor zu untersuchen, der die Replizierbarkeit von empirischen Befunden erklären kann.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2317: META-REP: Ein meta-wissenschaftliches Programm zur Analyse und Optimierung von Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften
• Internationaler Bezug: USA
• Kooperationspartner: Professor Dr. Brent W. Roberts, Ph.D.