Detailseite
Projekt
Reproduzierbarkeit und Robustheit sozialwissenschaftlicher Forschung mit Beobachtungsdaten: Ausmaß, Bedingungsfaktoren und Maßnahmen zur Verbesserung
Antragstellerinnen / Antragsteller
Professorin Dr. Katrin Auspurg; Professor Dr. Josef Brüderl
Fachliche Zuordnung
Empirische Sozialforschung
Förderung
Förderung seit 2021
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464507200
Das Projekt führt Analysen zur Reproduzierbarkeit und Robustheit von Artikeln durch, welche dieselben „large-N“ Beobachtungsdaten verwenden (European Social Survey). Die Artikel unterscheiden sich aber in Disziplinen, Zeitschriften, Autor:innenkonstellationen und anderen Faktoren, die vermutlich mit unterschiedlich hohen Reproduktionsraten zusammenhängen. Unser Projekt geht in vier Schritten vor: Während der ersten Projektphase haben wir (A) die Zugänglichkeit von Replikationsmaterialien für etwa 1.200 Artikel in einem „openess audit“ geprüft (Anfrage bei Autoren nach der Verfügbarkeit von Daten sowie Analysecode). Anschließend haben wir (B) bei einer zufälligen Teilmenge von 100 Artikeln Analysen zur Reproduzierbarkeit durchgeführt (lassen sich die Ergebnisse der Autoren reproduzieren, wenn man ihren Code auf ihre Daten anwendet). Für die zweite Projektphase planen wir, © für diese Artikel „Korrektheits-/Kongruenzprüfungen“ durchzuführen (Abwesenheit von Kodierfehlern, „Kongruenz“ zwischen dem, was in den Artikeln berichtet und mit dem Analysecode tatsächlich durchgeführt wird). Im letzten Schritt widmen wir uns (D) Robustheitsanalysen (bleiben die Ergebnisse bei scheinbar marginalen Änderungen von Datenaufbereitungen oder -analysen stabil, wie etwa Änderungen der Gewichtung, Imputation oder Outlier-Behandlung). Mit diesen vier Schritten streben wir ein umfassendes Audit möglicher Bedrohungen transparenter und glaubhafter Forschung an. Im Gegensatz zu bestehenden Audits berücksichtigen wir Publikationen sowohl mit hohem als auch niedrigem Impact. Zudem ermöglicht unser Audit Vergleiche zwischen Disziplinen mit unterschiedlich starker Umsetzung der „FAIR-Prinzipien“ (findable, accessible, interoperable, reusable materials). Auf diese Weise können Forschungsbereiche identifiziert werden, bei denen Maßnahmen zur Verbesserung besonders angebracht und effektiv erscheinen. Die drei eng miteinander verbundenen, übergreifenden Forschungsziele für die zweite Projektphase sind: (1) Abschluss von Arbeiten zur Analyse des Ausmaßes reproduzierbarer und robuster Ergebnisse auf den vier Stufen unseres Audits (als Beitrag zur META-REP „What“ Frage); (2) Analyse von Bedingungen für unterschiedliche Reproduzierbarkeit und Robustheit, wozu Merkmale auf Artikel-, Autoren- und Zeitschriftenebene analysiert werden (als Beitrag zur META-REP „Why“ Frage); und (3) Entwicklung einfach implementierbarer Maßnahmen (wie z.B. Computer-Code), mit denen sich Reproduzierbarkeit und Robustheit verbessern lassen (als Beitrag zur META-REP „How“ Frage).
DFG-Verfahren
Schwerpunktprogramme
