Wie kann Forschung zu vertrauenswürdigem Wissen kommen? Eine Analyse von Reformvorschlägen in agentenbasierten Modellen

• Antragsteller: Professor Dr. Felix Schönbrodt
• Fachliche Zuordnung: Allgemeine, Kognitive und Mathematische Psychologie ; Persönlichkeitspsychologie, Klinische und Medizinische Psychologie, Methoden
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464411255

Im Zuge der Replikationskrise hat sich gezeigt, dass die Wissenschaftsliteratur in verschiedenen Disziplinen nicht im gewünschten Maße robust und vertrauenswürdig ist. Um die Vertrauenswürdigkeit wissenschaftlicher Literatur zu verbessern, wurden bereits einige Reformvorschläge gemacht. An der Effektivität und Fairness, den potenziellen Nebenwirkungen sowie der tatsächlichen Wirkkraft dieser Ansätze sind jedoch begründete Zweifel aufgekommen. In diesem Forschungsprojekt werden wir deshalb aktuelle Argumente und Reformvorschläge formalisieren und diese in agenten-basierte Wissenschaftsmodelle (in denen Wissenschaftler die Agenten sind) implementieren, um deren logische Kohärenz, Effektivität und Nebenwirkungen zu untersuchen. Eine empirische Kalibrierung der Modelle erfolgt in drei Disziplinen aus den Verhaltens-, Sozial- und Kognitionswissenschaften. Drei spezifische Forschungsfragen untersuchen den Einfluss der Reformvorschläge auf die Vertrauenswürdigkeit und Bandbreite des wissenschaftlichen Outputs: (a) Open-Science als soziales Dilemma/Die Evolution der Transparenz, (b) Registered Reports und ein mehrstufiges Publikationssystem, und (c) Strategien für die Navigation epistemischer Landschaften: Die Rolle von Replikation und Theorie. In einem letzten Arbeitspaket (d) sollen die drei Submodelle aus a bis c in einem integrierten Modell zusammengeführt werden. Das integrierte Modell dient der Analyse potentieller Interaktionen der Reformvorschläge, optimaler Parameterkonfigurationen sowie der Untersuchung von Mustern, die durch die Interaktionen der Agenten entstehen. Wir gehen davon aus, dass die aus dem Forschungsprojekt gewonnenen Erkenntnisse genutzt werden können, um die Entwicklung von Richtlinien (z.B. Publikationsrichtlinien wissenschaftlicher Zeitschriften, Beschäftigungsrichtlinien akademischer Institutionen oder anderer Anreizstrukturen) und die Verteilungsstrategien von Drittmittelgebern zu informieren. Darüber hinaus kann gezeigt werden wie sich der Informationsgewinn aus wissenschaftlichen Ergebnissen maximieren lässt – was sich letztendlich auf den gesellschaftlichen Nutzen der Forschung auswirkt.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2317: META-REP: Ein meta-wissenschaftliches Programm zur Analyse und Optimierung von Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften
• Internationaler Bezug: Österreich
• Mitverantwortlich: Professor Dr. Richard McElreath
• Kooperationspartner: Dr. Filip Melinscak