Theoriespezifikation und Replizierbarkeit

• Antragsteller: Professor Dr. Andreas Glöckner
• Fachliche Zuordnung: Sozialpsychologie und Arbeits- und Organisationspsychologie
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 546418746

Studien in den 2010er Jahren haben gezeigt, dass ein hoher Anteil der empirischen Ergebnisse, die seinerzeit in hochrangigen Fachzeitschriften veröffentlicht wurde, nicht replizierbar war. Dieser Befund hat zu Debatten über mögliche Gründe für die niedrigen Replikationsraten sowie über methodische Standards und Praktiken in der Forschung in Psychologie und anderen Wissenschaften geführt. Erste Diskussionen und Initiativen konzentrierten sich einerseits auf die Verbesserung der Standards für Transparenz und Offenheit und andererseits auf eine potenzielle Kontextabhängigkeit von Effekten. Die entwickelten Standards der Präregistrierung verlangen von Forschenden, genauere Hypothesen und Operationalisierungen a priori festzulegen. Dies zeigte ein grundlegenderes Problem auf. In einigen Bereichen der Psychologie liegen teilweise eher vage spezifizierte Theorien vor. Diese Unterspezifikation von Theorien und eine daraus resultierende schwache logische Verbindung zwischen Theorien und empirischen Tests können zu niedrigen Replikationsraten und einer erhöhten Falsch-Positiv-Rate beitragen. Dies könnte durch einen hohen Spielraum bei der Ableitung von Hypothesen, bei der Auswahl von Operationalisierungen und der Durchführung statistischer Tests bedingt sein. In dem geplanten Projekt wird dieser Zusammenhang zwischen Replizierbarkeit und dem Grad der theoretischen Spezifikation von Theorien empirisch untersucht. Hierfür wird zunächst eine Methodologie zur formalen Theoriespezifikation entwickelt, die besonders für den Replikationskontext angepasst ist. Diese wird verwendet, um 50 prominente Theorien der Sozialpsychologie zu spezifizieren und die Beziehung zwischen den Eigenschaften von Theorien - vor allem deren Spezifikationsgrad - und der Reproduzierbarkeit empirischer Befunde, die diese Theorie testen, zu analysieren. Wir werden dabei die Replizierbarkeit mittels eine z-Kurven Analyse schätzen und auch weiterer Methoden zur Testung der Robustheit dieser Schätzung heranziehen. Zur Berücksichtigung einer möglichst vollständigen Auswahl relevanter Artikel, die Aspekte der relevanten Theorien testen, wird eine auf Web-Scraping und Large Language Models basierende Methodologie entwickelt, die es erlaubt relevante Artikel automatisch zu identifizieren und darüber hinaus auch weitere potenzielle Kontroll- und Moderator-Variablen zu kodieren. Schließlich soll basierend auf den Theorie-Spezifikationen eine Open Theory Database entwickelt werden, welche der Forschungs-Community online zur Verfügung gestellt werden soll. Die Datenbank sowie die Methodologie zur Theoriespezifikation und zur Selektion relevanter Artikel sollen die technische und konzeptuelle Grundlage für eine effizientere kumulative Theorieentwicklung bereitstellen sowie systematische Analysen von Theorien und Empirie vereinfachen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2317: META-REP: Ein meta-wissenschaftliches Programm zur Analyse und Optimierung von Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften
• Internationaler Bezug: Österreich
• Kooperationspartnerin: Professorin Dr. Susann Fiedler