Standardisierung psychologischer Forschungsmethoden als Determinante von Replizierbarkeit

• Antragsteller: Dr. Ruben Lennartz, seit 9/2023
• Fachliche Zuordnung: Persönlichkeitspsychologie, Klinische und Medizinische Psychologie, Methoden ; Allgemeine, Kognitive und Mathematische Psychologie
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464488178

Globale, offene Standards, wie die feste Breite des Fußballtors, verringern Konflikte, wenn Spieler aus der ganzen Welt zusammenkommen. Der Psychologie mangelt es an solchen Standards—und es ist kein Zufall, dass "die Torpfosten verschieben" oft als Metapher bemüht wird, wenn Replikationsversuche fehlschlagen und eine Debatte entbrennt. Gleichzeitig sind über die Sozial- und Verhaltenswissenschaften hinweg Schwierigkeiten bei der Replikation empirischer Arbeiten dokumentiert worden, das heißt die Reproduktion von Analysen auf der Grundlage derselben Daten, und die Replikation mit neuen Daten schlagen oft fehl. Während sich die Psychologie mit dieser Krise auseinandersetzt, fragen viele, was eine direkte Replikation ausmacht — wann sind Materialien und Methoden ausreichend ähnlich um als gleich zu gelten? Finden wir einen Effekt mit einem Maß, aber nicht mit einer Variante desselben kann uns das Aufschluss über Generalisierbarkeit geben und die Theorie vorantreiben. Wenn aber Forscher Freiheitsgrade bei der Messung ausnutzen, um das gewünschte Ergebnis herbeizuführen, jagen wir falschen Fährten nach. Globale, offene Standards schränken Freiheitsgrade ein und zeigen auf transparente Weise eine Einigkeit über grundlegende Forschungsaspekte auf: Einheiten, Normen und Messverfahren. Ohne Standards enden die Bemühungen zum Aufbau einer kumulativen Evidenzbasis durch Replikation und Meta-Analyse oft in Gezeter über die Torpfosten. Mit Standards wird die Planung, die Beurteilung der Reproduzierbarkeit früherer Forschung und die Synthese von Evidenz einfacher.Wir planen ein umfassendes Forschungsprogramm um die Rolle von Standardisierung in der Reproduzierbarkeit, Robustheit, Replizierbarkeit und Generalisierbarkeit psychologischer Forschung zu verstehen. Wir untersuchen, wie offene Standards beschleunigen können, dass die Psychologie als kumulative Wissenschaft reift. Dazu entwickeln wir SOBER, eine Methode um Standardisierung von Messinstrumenten mit einem maschinenlesbaren Metadatenstandard zu beschreiben und zu quantifizieren. Wir überprüfen die Nützlichkeit von SOBER, indem wir den Zusammenhang von globalen Standards mit Replizierbarkeit in existierenden Meta-Analysen und großangelegten Replikationsprojekten überprüfen. Wir katalogisieren flexible Forschungspraktiken, simulieren ihre Kosten für psychometrische Qualität und Robustheit von Evidenz und testen diese Simulationen in einer Reihe von Studien in denen bekannte psychologische Messverfahren experimentell variiert werden. Wir integrieren diese Befunde in einem Framework, um die Auswirkungen von ad-hoc Modifikationen auf Meta-Analysen zu beurteilen. Wir wollen einen Kulturwandel in der Psychologie in Richtung Standardisierung vorantreiben, indem wir Werkzeuge und Lehr-/Lernmaterial entwickeln, sowie Debatten anstoßen.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2317: META-REP: Ein meta-wissenschaftliches Programm zur Analyse und Optimierung von Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften
• Internationaler Bezug: Großbritannien, Niederlande, Schweiz
• Kooperationspartnerinnen / Kooperationspartner: Professorin Dr. Lisa M. DeBruine; Professor Dr. Renato Frey; Professor Dr. Daniël Lakens
• Ehemaliger Antragsteller: Professor Dr. Malte Elson, bis 8/2023