Heikle Fragen und soziale Erwünschtheit - Theorie und Methoden
Zusammenfassung der Projektergebnisse
In den Sozialwissenschaften haben Umfragestudien eine hohe Bedeutung. Oft enthalten diese auch heikle oder sensitive Themen (wie beispielsweise selbstberichtete Delinquenz, Wahlverhalten, Fragen zur Gesundheit usw.), welche für Öffentlichkeit und Wissenschaft oft am spannendsten sind. Indes hat sich gezeigt, dass viele Befragte auf solche Fragen nicht wahrheitsgemäß antworten, sondern ihre Angaben in eine sozial erwünschte Richtung verzerren („Misreporting“) und die resultierenden Daten nicht valide sind. Vor diesem Hintergrund hat sich das Projekt den Fragen angenommen, wie Misreporting theoretisch erklärt werden kann und welche Designaspekte und Fragetechniken dazu beitragen können, die Datenvalidität zu erhöhen. Bezüglich der Fragetechniken stand hierbei die Item- Count-Technik (ICT) im Vordergrund. Diese nutzt statt Einzelfragen Fragelisten mit simultan zu beantworteten Items, dadurch wird die Befragungssituation für die Antwortenden vollständig anonymisiert, aggregierte Schätzungen für die Prävalenz heikler Eigenschaften sind aber dennoch möglich. Im Projekt wurden vier Online-Surveys mit verschiedenen Stichproben durchgeführt. Die Erhebungen enthielten u. a. verschiedene Varianten an heiklen/sensitiven Fragen, Survey-Experimente, in denen mehrere Designaspekte und Frageformen variiert wurden, fiktive Items und Antwortreaktionszeitmessungen. Außerdem wurde eine Meta-Analyse angefertigt, in welcher die gesamte existierende Literatur zur Wirksamkeit der ICT im Hinblick auf eine Reduktion von Misreporting ausgewertet wurde. Die Projektergebnisse zeigen, dass Misporting bzw. invalide Daten ein massives Problem sind. Dies betrifft z. B. den selbstberichteten Impfstatus im Zuge der Covid-19 Pandemie, Selbstauskünfte zu sexuellen Verhaltensweisen, aber auch sog. Pseudo-Opinions, also Meinungsäußerungen von Befragten zu Dingen, die sie gar nicht kennen: Bis zu 75 % machen Angaben zu frei erfundenen Fragegegenständen. Die ICT als Spezialfragetechnik für sensitive Items kann das Problem durchaus eindämmen (so das Ergebnis der Meta-Analyse), allerdings muss deren Zuverlässigkeit künftig noch erhöht werden. Für eine alternative Spezialfragetechnik, das sog. Crosswise-Model, welches ebenfalls die Fragesituation anonymisiert, zeigt sich hingegen, dass selbige eher das Gegenteil der intendierten Validitätserhöhung bewirkt; namentlich führt diese zu falsch-positiven Schätzern. Ein theoretisch relevantes Ergebnis des Projekts besteht darin, dass gezeigt werden konnte, dass invalide Antworten eher unbewusst-spontan entstehen denn durch ein sorgfältiges Abwägen/Nachdenken seitens der Befragten. Neben Erkenntnissen für die theoretische und methodische Grundlagenforschung im Bereich der Surveymethodologie können aus dem Projekt auch Empfehlungen für die Praxis der Umfrageforschung abgeleitet werden.
Projektbezogene Publikationen (Auswahl)
-
The Effects of Social Desirability and Undesirability on Response Latencies in Surveys, 7th Conference of the ESRA, Lissabon, 21.07.2017
Andersen, Henrik & Mayerl, Jochen
-
The Effects of Social Desirability on Response Latencies in Surveys: Bulletin of Sociological Methodology 135 (1): 68-89. 2017
Andersen, Henrik & Mayerl, Jochen
-
Antwortvalidität in Survey-Interviews: Meinungsäußerungen zu fiktiven Dingen. Schriftenreihe der ASI - Arbeitsgemeinschaft Sozialwissenschaftlicher Institute, 339-368. Springer Fachmedien Wiesbaden.
Wolter, Felix & Junkermann, Justus
-
Identification of Measurement Problems of Survey Items and Scales Using Paradata. Schriftenreihe der ASI - Arbeitsgemeinschaft Sozialwissenschaftlicher Institute, 9-35. Springer Fachmedien Wiesbaden.
Mayerl, Jochen; Andersen, Henrik & Giehl, Christoph
-
Testing the Item Sum Technique (IST) to Tackle Social Desirability Bias, in: SAGE Research Methods Cases. 2018
Wolter, Felix & Herold, Lucie
-
A Comprehensive Meta-Analysis of Experimental Survey Studies on the Performance of the Item Count Technique (ICT), ESRA 2019, Zagreb, 17.07.2019
Wolter, Felix; Junkermann, Justus & Ehler, Ingmar
-
A New Version of the Item Count Technique for Asking Sensitive Questions: Testing the Performance of the Person Count Technique, in: Methods, data, analyses (mda) 13 (1): S. 169–192. 2019
Wolter, Felix
-
Asking Sensitive Questions: A Meta-Analysis of Experimental Survey Studies on the Performance of the Item Count Technique, Konferenz “Analytical Sociology: Theory and Empirical Applications”, Venedig, 20.11.2019
Wolter, Felix; Junkermann, Justus & Ehler, Ingmar
-
Editorial: Social Desirability Bias in Surveys – Collecting and Analyzing Sensitive Data: mda – Methods, Data, Analyses 13 (1). 2019b
Jann, Ben; Krumpal, Ivar & Wolter, Felix
-
Responding to Socially Desirable and Undesirable Topics: Different Types of Response Behaviour? 8th Conference of the ESRA, Zagreb, 19.07.2019
Andersen, Henrik & Mayerl, Jochen
-
Responding to Socially Desirable and Undesirable Topics: Different Types of Response Behaviour?, in: mda – Methods, Data, Analyses 13 (1). 2019
Andersen, Henrik & Mayerl, Jochen
-
Social Desirability Bias in Surveys – Collecting and Analyzing Sensitive Data: Special Issue in mda – Methods, Data, Analyses 13 (1). 2019
Jann, Ben; Krumpal, Ivar & Wolter, Felix
-
False Positives and the “More-is-Better” Assumption in Sensitive Question Research: New Evidence on the Crosswise Model and the Item Count Technique, Konferenz “Analytical Sociology: Theory and Empirical Applications”, Venedig/Online, 17.11.2020
Wolter, Felix & Diekmann, Andreas
-
Let’s Ask About Sex: Methodological Merits of the Sealed Envelope Technique in Face-to-Face Interviews. Kriminalität und Gesellschaft, 123-149. Springer Fachmedien Wiesbaden.
Wolter, Felix & Preisendörfer, Peter
-
False Positives and the “More-is-Better” Assumption in Sensitive Question Research. Public Opinion Quarterly, 85(3), 836-863.
Wolter, Felix & Diekmann, Andreas
-
Sensitive Questions in Surveys. Public Opinion Quarterly, 85(1), 6-27.
Ehler, Ingmar; Wolter, Felix & Junkermann, Justus
-
Using Fictitious Issues to Investigate Cognitive Processes in Surveys, ESRA virtual conference 2021, 02.07.2021
Andersen, Henrik, Mayerl, Jochen, Wolter, Felix & Junkermann, Justus
-
Überschätzung der Impfquote gegen Covid-19 in Bevölkerungsumfragen: Ergebnisse einer experimentellen Methodenstudie
Wolter, Felix; Mayerl, Jochen; Andersen, Henrik; Junkermann, Justus & Wieland, Theresa
-
Count-Techniken – Eine Lösung für heikle Fragen? Dissertationsschrift. Universität Leipzig. 2022
Junkermann, Justus
-
Overestimation of COVID-19 Vaccination Coverage in Population Surveys Due to Social Desirability Bias: Results of an Experimental Methods Study in Germany. Socius: Sociological Research for a Dynamic World, 8.
Wolter, Felix; Mayerl, Jochen; Andersen, Henrik K.; Wieland, Theresa & Junkermann, Justus
-
Overestimation of COVID-19 Vaccination Coverage in Population Surveys Due to Social Desirability Bias: Results of an Experimental Methods Survey in Germany, ESA Midterm Conference of RN21, Salamanca, 07.10.2022.
Wolter, Felix; Mayerl, Jochen; Andersen, Henrik K.; Wieland, Theresa & Junkermann, Justus
-
Sensitive und heikle Themen. Handbuch Methoden der empirischen Sozialforschung, 359-370. Springer Fachmedien Wiesbaden.
Wolter, Felix
-
Surveying Sensitive Questions: Potentials and Limits of the Item Count Technique (ICT), ITACOSM Conference, Perugia, 10.10.2022.
Wolter, Felix
-
Überschätzung der Impfquote gegen Covid-19 in Bevölkerungsumfragen aufgrund von Verzerrungen durch soziale Erwünschtheit: Ein Survey-Experiment mit der Item Count Technique. Das Gesundheitswesen. Georg Thieme Verlag.
Junkermann, J.; Wolter, F.; Mayerl, J.; Andersen, H. & Wieland, T.
-
Sensitive Questions and Social Desirability: Theory and Methods. Session mit ca. 10 Beiträgen anderer Autoren auf der ESRA-Konferenz 2023, Mailand
Wolter, Felix; Mayerl, Jochen; Andersen, Henrik & Junkermann, Justus
