Der Beitrag von Theorie zur (Lösung der) Reliabilitätskrise

• Antragsteller: Dr. Nate Breznau, Ph.D.
• Fachliche Zuordnung: Empirische Sozialforschung ; Politikwissenschaft ; Soziologische Theorie
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 464546557

Die Reliabilität eines bestimmten empirischen Tests hängt unmittelbar von der Qualität der Theorien ab, auf deren Argumenten der Test basiert. Zu viele unbekannte Faktoren oder konkurrierende kausale Pfade von der Testvariable X zur Ergebnisvariable Y führen dazu, dass die Ergebnisse nicht reliabel sind. Wenn Hypothesentests unter theoretischen Ambiguitäten wiederholt werden, sind möglicherweise ganze Forschungsgebiete bzw. deren Ergebnisse unzuverlässig. Dies könnte den Mangel an Konsens in den erklären bzw. warum Ergebnisse aus diesen Bereichen wenig reproduzierbar sind. Aufgrund der Komplexität menschlicher Interaktion und gesellschaftlicher Organisation ist die theoretische Ambiguität besonders in den Verhaltens- und Sozialwissenschaften prävalent.Ziel des Projektvorhabens ist, die mögliche Rolle von Theorien in der Reproduzierbarkeitskrise zu untersuchen. Es sollen folgende Fragen beantwortet bzw. Ziele verfolgt werden:1 Wie groß ist das Ausmaß theoretischer Ambiguitäten in einem Forschungsgebiet?2 Können computer-gestützte Vergleiche von Kausalmodellen die Ursachen der fehlenden Reliabilität der Ergebnisse aus diesem Feld identifizieren?3 Kann die Reliabilität und Reproduzierbarkeit von Ergebnissen in diesem Feld durch das Crowdsourcen von theoretischen Argumenten verbessert werden?4 Kann eine Computeranwendung dieses Verfahren verbessern und effizienter gestalten, so dass dies in anderen Bereichen der Kognitions-, Verhaltens- und Sozialwissenschaft Anwendung findet?Die ersten beiden Punkte zielen auf eine Frage ab, die im Rahmen des META-REP SPP gestellt wird: Warum variieren Replikationsraten? Die letzten beiden Punkte adressieren die Frage: Wie können Replikationsraten erhöht werden? Im Projektantrag wird argumentiert, dass Replikation und Reliabilität im wissenschaftlichen Forschungsprozess eng miteinander verbunden sind. Adressiert man also Probleme bei der Reliabilität, sollte dies positive Auswirkungen auf die Replizierbarkeit haben. Das vorgeschlagene Verfahren wird in dem Spezialgebiet des Antragstellers – Einwanderung und Umverteilungspräferenzen aus makro-vergleichender Perspektive – getestet. Dieses Feld eignet sich besonders, um zu untersuchen, welche Rolle Theorien spielen bei der fehlenden Reliabilität der Ergebnisse und Replikationen, da es besonders „unzuverlässig“ ist (widersprüchliche Ergebnisse) und sich hauptsächlich auf öffentlich zugängliche Datenquellen stützt. Anhand dieses Testfelds wird eine Computeranwendung entwickelt, die es ermöglicht, die Vergleichsergebnisse kausaler Modelle zu analysieren, zu speichern und öffentlich zugänglich zu machen. Die Ergebnisse und Erfahrungen aus diesem Spezialgebiet sollen in einer Weiterentwicklung der Anwendung einfließen, so dass das vorgeschlagene Verfahren der Kausalmodellvergleiche auf andere Bereiche der Kognitions-, Verhaltens- und Sozialwissenschaften übertragen werden kann.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2317: META-REP: Ein meta-wissenschaftliches Programm zur Analyse und Optimierung von Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften
• Internationaler Bezug: USA
• Mitverantwortlich: Professor Dr. Andreas Breiter
• Kooperationspartner: Professor Dr. Jeremy Freese