SPP 2317:  META-REP: Ein meta-wissenschaftliches Programm zur Analyse und Optimierung von Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften

• Fachliche Zuordnung: Sozial- und Verhaltenswissenschaften ; Biologie ; Geisteswissenschaften ; Informatik, System- und Elektrotechnik ; Medizin
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 441890184

Meta-wissenschaftliche Forschung zur Replizierbarkeit, Reproduzierbarkeit und Generalisierbarkeit empirischer Erkenntnisse ist – und bleibt – ein "heißes Thema" in den Sozial-, Kognitions- und Verhaltenswissenschaften. Neue Zeitschriften für Meta-Wissenschaft wurden ins Leben gerufen; etablierte Zeitschriften widmen Replikationsprojekten "Sonderausgaben"; neue wissenschaftliche Gemeinschaften, Institute und Initiativen wurden gegründet; und viele Zeitschriften und Forschungsförderer haben ihre Richtlinien geändert, um die Sichtbarkeit und Relevanz von Replizierbarkeit, Reproduzierbarkeit und Generalisierbarkeit zu erhöhen. Das von der DFG geförderte Schwerpunktprogramm "META-REP" (SPP 2317) trägt sichtbar zu diesen Entwicklungen bei, indem es drei übergreifende Fragen mit (meta-)wissenschaftlichen Methoden und Ansätzen angeht: (1) Was meinen wir, wenn wir von "Replizierbarkeit" sprechen? (die "WAS"-Frage); (2) Warum sind Replikationsraten so niedrig und variabel? (die "WARUM"-Frage); und (3) Was können wir tun, um die Replikationsraten zu erhöhen? (die "WIE"-Frage). In der ersten Förderphase von META-REP (2021-2024) haben die 15 geförderten Projekte wesentlich dazu beigetragen, diese Fragen zu beantworten, und das Koordinationsprojekt hat aktiv dazu beigetragen, diese Arbeiten zu koordinieren, zu unterstützen und zu fördern, unter anderem durch (1) die Einrichtung von vier Arbeitsgruppen ("Task Forces"), die sich mit übergreifenden meta-wissenschaftlichen Fragen befassen, (2) die Finanzierung von Forschung über Projekte hinweg ("Schatzkistenprojekte"), (3) die Organisation von Veranstaltungen innerhalb des Programms (Retreats, Vorlesungsreihen, programmspezifische Workshops), (4) die Organisation einer internationalen Meta-Science-Konferenz im Jahr 2024, (5) die Bereitstellung von IT-Dienstleistungen für die Projekte, (6) die Zusammenarbeit mit meta-wissenschaftlichen Initiativen über META-REP hinaus und (7) die Durchführung eigener meta-wissenschaftlicher Forschung. All diese Aktivitäten werden mit Hilfe des Koordinationsprojekts in der zweiten Förderphase fortgesetzt und intensiviert. Konkret soll META-REP noch sichtbarer in der internationalen (meta-)wissenschaftlichen Gemeinschaft gemacht, die Zusammenarbeit mit Partnern auf der ganzen Welt soll weiter gestärkt und es sollen Plattformen für den wissenschaftlichen Austausch über Meta-Wissenschaft in den Sozial-, Kognitions- und Verhaltenswissenschaften bereitgestellt werden.

• DFG-Verfahren: Schwerpunktprogramme
• Internationaler Bezug: Australien, Großbritannien, Niederlande, Österreich, Schweden, Schweiz, USA

Projekte

• Anwendung von Validitätsprinzipien in Metastudien zur Überprüfung von Kausalbeziehungen (Antragsteller Jekel, Marc )
• Bewältigung der Replikationskrise in der Machine Learning Modellierung (Antragstellerinnen / Antragsteller Jankowsky, Kristin ;  Schroeders, Ulrich )
• Der Beitrag von Theorie zur (Lösung der) Reliabilitätskrise (Antragsteller Breznau, Ph.D., Nate )
• Die Reproduzierbarkeit und Robustheit von Sekundäranalysen in der Bildungsforschung: Die Rolle von Publication Bias und Datenanalyseentscheidungen (Antragsteller Jansen, Malte ;  Kocaj, Aleksander )
• Ein gründlicher Bayes'scher Workflow zur Untersuchung robuster individueller Unterschiede in der Kognitionswissenschaft (Antragstellerin Haaf, Ph.D., Julia M. )
• Eine umfassende, gemeinschaftliche Untersuchung der Replikabilität und Robustheit von EEG Analysen (Antragsteller Busch, Niko ;  Pavlov, Ph.D., Yuri )
• Förderung der proaktiven Replizierbarkeit in der Computational Communication Science durch Vorverlagerung des Aufwands und Automatisierung von Protokollen (Antragsteller Breuer, Johannes ;  Haim, Mario )
• Grosse Sprachmodelle als Lösungsansatz für die Generalisierbarkeitskrise (Antragsteller Wulff, Dirk )
• Kognitive Modellierung: Fluch oder Segen für Replizierbarkeit in der Psychologie? (Antragsteller Rausch, Manuel ;  Zehetleitner, Michael )
• Konzeptuelle Replikationen - Richtlinien zur Durchführung und Einflussfaktoren auf die Replizierbarkeit in unterschiedlichen psychologischen Disziplinen (Antragstellerinnen / Antragsteller Gast, Anne ;  Pohl, Steffi ;  Sengewald, Marie-Ann ;  Twardawski, Mathias )
• Koordinationsfonds (Antragsteller Gollwitzer, Mario )
• METEOR 2.0 – Meisterung expertenwissensbasierter Robustheitsanalysen in den kognitiven Neurowissenschaften (Antragstellerinnen / Antragsteller Debener, Stefan ;  Gießing, Carsten ;  Hildebrandt, Andrea ;  Thiel, Christiane M. )
• Modelle, Maße, Moderatoren - Exploration und Erklärung von Heterogenität in psychologischen Replikationen (Antragsteller Heene, Moritz )
• Reproduzierbarkeit und Robustheit sozialwissenschaftlicher Forschung mit Beobachtungsdaten: Ausmaß, Bedingungsfaktoren und Maßnahmen zur Verbesserung (Antragstellerinnen / Antragsteller Auspurg, Katrin ;  Brüderl, Josef )
• Reproduzierbarkeit und Robustheit von Instrumentvariablen und Randomized Controlled Trials in den Wirtschaftswissenschaften (Antragsteller Ankel-Peters, Jörg )
• Standardisierung psychologischer Forschungsmethoden als Determinante von Replizierbarkeit (Antragsteller Lennartz, Ruben )
• SYNTH: Evaluation von Transformermodellen für synthetische Replikationen, nomologische Netze und Peer Reviews (Antragsteller Hommel, Björn ;  Lennartz, Ruben )
• Systematisieren der Theoriebildung (Antragstellerin Schmalz, Xenia )
• Theoriespezifikation und Replizierbarkeit (Antragsteller Glöckner, Andreas )
• Von "wissenschaftlichen Arbeiten" zum "Arbeiten in der Wissenschaft": Eine Analyse von Reformvorschlägen in agentenbasierten Modellen (Antragsteller Schönbrodt, Felix )
• Welche Rolle spielt Messung bei der Replizierbarkeit von empirischen Befunden? (Antragstellerinnen Frick, Susanne ;  Wetzel, Eunike )

• Sprecher: Professor Dr. Mario Gollwitzer