Detailseite
Projekt
Verbesserung der Robustheit von nicht-experimenteller sozialwissenschaftlicher Forschung mit Hilfe von „Computational Multi-Model“ Analysen
Antragstellerin
Professorin Dr. Katrin Auspurg, seit 3/2024
Fachliche Zuordnung
Empirische Sozialforschung
Förderung
Förderung seit 2021
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464507200
Replikationsstudien haben sich bislang stark auf experimentelle Forschung konzentriert, in der Schätzunsicherheit primär durch Stichprobenfehler verursacht wird. Die Analyse der Robustheit der in vielen Sozialwissenschaften dominierenden Forschung mit nicht-experimentellen Daten erfordert allerdings andere Verfahren, die auch die durch die Modellwahl verursachte Unsicherheit erfassen: Es gibt bei dieser Forschung oft zahlreiche Möglichkeiten, die analysierten Stichproben, die funktionale Form von Zusammenhängen, und die Auswahl von Kovariaten und Regressionsmodellen zu spezifizieren. Zudem kann unbeobachtete Heterogenität die Validität nicht-experimenteller Forschung gefährden (sog. Sensitivität). Allerdings fehlen groß angelegte Evaluationsstudien und es mangelt an dafür geeigneten Methoden. Dieses Projekt fragt daher: Wie lässt sich die Robustheit nicht-experimenteller Sozialwissenschaften mit Hilfe von einschlägigen Computerprogrammen einschätzen und verbessern? Dazu dienen drei eng miteinander verzahnte Forschungsziele: (1) Die Weiterentwicklung von Programmen für Robustheits- und Sensitivitäts-Analysen (sog. „multi-model“, "multiverse", oder "Spezifikationskurven"-Analysen) für ihren Einsatz in groß angelegten Evaluationsstudien; etwa durch die Entwicklung standardisierter Robustheitsmaße und die Definitionen von zu testenden Modellvarianten (in Form von Stichproben/Variablen/Regressionsmodellen).(2) Die Durchführung einer ersten groß angelegten Robustheitsanalyse von Effekten basierend auf Regressionsanalysen nicht-experimenteller Daten. Dazu werden die in (1) entwickelten Instrumente auf 100 Studien angewendet, die in führenden Zeitschriften einschlägiger Disziplinen publiziert wurden (Soziologie, Politikwissenschaften, Ökonomie). Erforscht werden die Reproduzierbarkeitsrate: Zu welchem Ausmaß sind Ergebnisse mit den Modellen und Daten der Primärstudien reproduzierbar; welche Rolle spielen dabei mögliche (Kodier-)Fehler? Die Robustheitsrate: Inwieweit sind Ergebnisse gegenüber (welchen) alternativen Modellierungen robust? Sowie die Sensitivitätsrate: Zu welchem Ausmaß bedroht unbeobachtete Heterogenität die Robustheit und Validität geschätzter Effekte? Diese umfassenden Analysen werden erstmalig auch eine systematische Erfassung von zentralen (statistischen) Determinanten von Robustheit erlauben. (3) Die Erforschung von Routinen, mit denen sich Primärforschung verbessern lässt: Inwiefern können multi-model und Sensitivitätsanalysen bereits Forschende zu robusteren Schätzungen verhelfen? Zudem werden wir mit "robustness notes“ ein neues Publikationsformat implementieren. Mit diesen drei eng verbundenen Forschungszielen leistet das Projekt wichtige Beiträge zu der "Was"- und "Wie"-Frage des META-REP-Schwerpunktprogramms: Was ist die Replikationsrate (Robustheit), wie kann diese beobachtet werden, und wie lässt sich die Robustheit bereits in Primärforschung verbessern?
DFG-Verfahren
Schwerpunktprogramme
Ehemaliger Antragsteller
Dr. Andreas Schneck, bis 2/2024
