Investigating the validity of surveys based on indirect questions
Final Report Abstract
Indirekte Befragungstechniken sollen die Validität von Selbstberichten zu sensiblen Themen erhöhen. Die Validität indirekter Befragungstechniken wurde jedoch zuletzt in Frage gestellt, da wiederholt eine unzureichende Spezifität und Sensitivität dieser Befragungstechniken sowie verschiedene systematische und unsystematische Antwortverzerrungen beobachtet wurden. Die Ziele des aktuellen Projekts bestanden zum einen in der Untersuchung möglicher Ursachen für die unzureichende Spezifität und Sensitivität indirekter Befragungen. Zum anderen sollten Maßnahmen identifiziert werden, die zu einer Optimierung der Validität indirekter Befragungstechniken beitragen könnten. Übergeordnet sollte das Projekt klären, ob indirekte Befragungstechniken weiterhin für die Anwendung in der Umfrageforschung empfohlen werden können, welche Einschränkungen sich möglicherweise für ihre Anwendbarkeit ergeben, und mit welchen Maßnahmen ihre Validität maximiert werden kann. Wir haben im Rahmen des Projekts herausgefunden, dass einige zentrale Voraussetzungen für die Ermittlung valider Ergebnisse auf der Basis indirekter Befragungstechniken erfüllt sind. Zum einen konnten wir zeigen, dass unsystematisches, zufälliges Antwortverhalten die Validität indirekter Befragungen offenbar weniger stark gefährdet als frühere Studien befürchten ließen, und dass Unterschiede in den ermittelten Prävalenzschätzungen zu konventionellen direkten Befragungen offenbar primär auf eine Kontrolle sozialer Erwünschtheit zurückzuführen sind. Zum anderen haben wir anhand verschiedener indirekter Befragungstechniken unterschiedliche Arten systematischer Antwortverzerrungen direkt sichtbar gemacht. Außerdem konnten wir erstmalig die hohe Retest-Stabilität einer indirekten Befragungstechnik nachweisen; eine wichtige Voraussetzung für die valide Erfassung der Prävalenz sensibler Merkmale erwies sich damit als erfüllt. Von zentraler Bedeutung für die Validität indirekter Befragungstechniken haben sich zudem der Einsatz von Cheating-Detection-Erweiterungen in asymmetrischen Modellen sowie die Verwendung antwortsymmetrischer Modelle erwiesen, welche einer bewussten Täuschung vorbeugen, indem sie gar keine selbstschützende Antwortoption anbieten. Darüber hinaus konnten wir zeigen, dass der Formulierung der Antwortoptionen indirekter Befragungstechniken eine erhebliche Bedeutung zukommt und optimierte Instruktionsformate zu einem gesteigerten Verständnis in spezifischen Zielpopulationen beitragen können. Darüber hinaus fanden wir Belege dafür, dass es sinnvoll und zielführend ist, zentrale Modellannahmen trotz des hierfür erforderlichen Mehraufwands anhand geeigneter Modellerweiterungen testbar zu machen. Insbesondere vor dem Hintergrund einer hohen Retest-Stabilität und der potentiell erfolgreichen Kontrolle sozialer Erwünschtheit können die untersuchten indirekten Befragungstechniken insgesamt weiterhin für die Anwendung in der Umfrageforschung zu sensiblen Merkmalen empfohlen werden. Insbesondere, wenn die Maximierung der Sensitivität das zentrale Kriterium ist, dann sollten indirekte gegenüber direkten Befragungstechniken bevorzugt werden. Auch wenn die Sensitivität und Spezifität dieser Techniken häufig nicht perfekt ausfallen, stehen Maßnahmen zur Verfügung, die eine Verbesserung der Validität indirekter Befragungen ermöglichen.
Publications
-
Controlling social desirability bias: An experimental investigation of the extended crosswise model. PLOS ONE, 15(12), e0243384.
Meisters, Julia; Hoffmann, Adrian & Musch, Jochen
-
Nothing but the truth? Effects of faking on the validity of the crosswise model. PLOS ONE, 16(10), e0258603.
Hoffmann, Adrian; Meisters, Julia & Musch, Jochen
-
A New Approach to Detecting Cheating in Sensitive Surveys: The Cheating Detection Triangular Model. Sociological Methods & Research, 53(1), 328-368.
Meisters, Julia; Hoffmann, Adrian & Musch, Jochen
-
More than random responding: Empirical evidence for the validity of the (Extended) Crosswise Model. Behavior Research Methods, 55(2), 716-729.
Meisters, Julia; Hoffmann, Adrian & Musch, Jochen
