Überprüfung der Replizierbarkeit von Befunden aus der Arbeits- und Organisationspsychologie mithilfe von Multiverse-Analysen

• Antragsteller: Professor Dr. Joachim Hüffmeier
• Fachliche Zuordnung: Sozialpsychologie und Arbeits- und Organisationspsychologie
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 569028262

In diesem Vorhaben sollen die Reproduzierbarkeit und Replizierbarkeit von zentralen Befunden aus der Arbeits- und Organisationspsychologie überprüft werden. Unter Reproduzierbarkeit wird verstanden, dass Forscher*innen dieselben Ergebnisse wie in einer Originalstudie erhalten können, wenn sie die Daten dieser Studie reanalysieren. Replizierbarkeit bedeutet, dass unabhängige Forscher*innen zu ähnlichen Schlussfolgerungen kommen wie eine Originalstudie, wenn sie neue Daten unter Bedingungen sammeln, die denen der Originalstudie ausreichend ähnlich sind. Weil momentan entsprechende Studien vollständig fehlen, ist unklar, ob und in welchem Ausmaß Befunde aus der Arbeits- und Organisationspsychologie reproduzierbar und replizierbar sind. Daher werden im aktuellen Projekt Studien durchgeführt, die sowohl die Reproduzierbarkeit von Befunden als auch ihre Replizierbarkeit überprüfen (kombinierte Reproduzierbarkeits- und Replizierbarkeitsstudien). Im Rahmen dieses Projekts werden wir Studienergebnisse aus vier Kernbereichen der Arbeits- und Organisationspsychologie überprüfen (Aufbau von Belegschaften, Führen von Belegschaften, Umgang mit Unterschieden und Austritt aus der Arbeit). Dafür reanalysieren wir in Fachzeitschriften veröffentlichte Ergebnisse, die aus einem öffentlich zugänglichen Datensatz gewonnen worden sind. Ist dieser Test auf Reproduzierbarkeit erfolgreich, wird die Replizierbarkeit in einem anderen öffentlich zugänglichen Datensatz mittels eines spezifischen Analyse-Ansatzes untersucht, der Multiverse-Analyse genannt wird. In diesen Multiverse-Analysen können viele Faktoren gleichzeitig variiert (bspw. die Wahl von unterschiedlichen Messzeitpunkten in einer Längsschnittstudie oder der Umgang mit fehlenden Werten bei einzelnen Angaben von Proband*innen) und ihre Auswirkungen auf die beobachteten Ergebnisse untersucht werden. Deswegen lassen Replikationsstudien, die mithilfe von Multiverse-Analysen durchgeführt werden, nicht nur Aussagen dazu zu, ob Befunde replizierbar sind oder nicht. Sie erlauben vielmehr eine differenzierte Beschreibung, unter welchen Bedingungen Befunde replizierbar sind und unter welchen Bedingungen sie es nicht sind. Somit ermöglichen entsprechende Studien Aussagen zur Replizierbarkeit und Generalisierbarkeit (Verallgemeinerbarkeit) von Befunden. Insgesamt strebt dieses Projekt Aussagen dazu an, (a) wie reproduzierbar zentrale Befunde der Arbeits- und Organisationspsychologie sind, (b) unter welchen Bedingungen sie replizierbar und unter welchen Bedingungen sie nicht replizierbar sind und (c) über welche Bedingungen hinweg sie auch generalisierbar sind.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: USA
• Mitverantwortliche: Dr. Jens Mazei; Professor Dr. Hannes Zacher
• Kooperationspartner: Professor Dr. Cort Rudolph