Optimizing Probing Procedures for Cross-National Web Surveys
Final Report Abstract
Ziel des Projekts war es, die im Vorgängerprojekt entwickelte Methode des Online-Probings zu verbessern. Online-Probing basiert auf der Implementation von Probing-Techniken des kognitiven Interviews in Online-Umfragen. Diese Methode wurde entwickelt, um ein qualitatives Evaluationsinstrument zur Vergleichbarkeit von Items in internationalen Umfragen zur Verfügung zu stellen. Im Vorgängerprojekt zeigten sich verschiedene Forschungslücken, die mit dem jetzt abgeschlossenen Folgeprojekt bearbeitet werden sollten: Zum einen gaben einige Befragte zu kurze Antworten, verweigerten Probe-Antworten oder antworteten auf die falsche Probing-Frage (sogenannte Mismatches). Weiterhin boten die erhobenen Probing-Daten eine Datengrundlage für die Entwicklung geschlossener Fragen, die für weitere Forschung nutzbar gemacht werden können. Schließlich wurden einige der Umfragemodule, auf denen die Online-Umfragen basierten, bereits vor längerer Zeit durchgeführt. Damit stellte sich die Frage, ob die Ergebnisse der Online-Studien tatsächlich auf die internationalen Umfragen übertragbar sind. Um die beschriebenen Projektziele zu erreichen, wurden jeweils ein kognitiver Pretest sowie ein Online-Pretest in Deutschland sowie ein internationaler Online-Pretest und zwei internationale Online-Umfragen (Quotenstichproben aus nichtrepräsentativen Online-Access Panels mit jeweils ca. 500 Teilnehmern pro Land aus Deutschland, Großbritannien, Spanien, Mexiko und den USA) durchgeführt. Für die Verringerung von Probe-Nonresponse und unzureichenden Antworten in Online-Umfragen erwies sich der Einsatz von Follow-up Probes mit Motivationssätzen als besonders erfolgreich. Je nach der Art des Nonresponse, der mithilfe von regulären Ausdrücken identifiziert wurde, erhielten die Befragten automatisch ein Follow-Up Probe mit einem passenden Motivationssatz eingeblendet. Der Einsatz von Countdowns auf die Motivation der Befragten konnte allerdings nicht nachgewiesen werden. Daher sahen wir in unseren internationalen Studien vom Einsatz des Countdown-Experiments ab. Auch auf den Einsatz eines Motivationsfilms haben wir aufgrund schlechter Erfahrungen mit Videos in anderen Projekten verzichtet. Bezüglich der optimalen Anordnung von Probes bestätigte sich unsere ursprüngliche Forschungshypothese, dass Befragte zuerst eine Category-Selection Probe bevorzugen. Allerdings zeigten sich dabei Unterschiede zwischen den Ländern. Schließlich zeigte sich, dass geschlossene Fragen, selbst wenn sie auf der Basis von Probing-Antworten aus Vorstudien entwickelt wurden, in der Regel kein vollwertiger Ersatz für Probing-Fragen darstellen. Um die Vergleichbarkeit zwischen den Ergebnissen der Online-Studien und den unterschiedlichen ISSP-Befragungen, aus denen die getesteten Items stammen, zu erhöhen, haben wir eine möglichst zeitnahe Datenerhebung mit den ISSP-Befragungen von 2012, 2013 und 2014 sichergestellt. Schließlich haben wir in diesem Projekt das Potential von Online-Probing im Vergleich zu anderen relevanten qualitativen und quantitativen Evaluationsmethoden untersucht. Im Vergleich zu kognitiven Interviews zeigte sich, dass beide Methoden ähnliche Interpretationsmuster und Fehler aufdeckten, und eine geringere Antwortqualität bei Online-Probing durch die große Stichprobe ausgeglichen werden kann. Messinvarianztests und Online-Probing können sich bei der Bewertung der internationalen Vergleichbarkeit von Messinstrumenten mit multiplen Items sehr gut ergänzen. Während erstere das Vorhandensein von problematischen Ländern und Items anzeigen, kann Online-Probing auch die Gründe für eine fehlende Vergleichbarkeit aufdecken. Online-Probing bietet sich demgegenüber als Evaluations-Tool für Ein- Item-Indikatoren an, da deren Vergleichbarkeit nicht durch Messinvarianztests bewertet werden kann.
Publications
- (2017) Necessary but Insufficient: Why Measurement Invariance Tests Need Online Probing as a Complementary Tool. Public opinion quarterly 81 (2) 447–472
Meitinger, Katharina
(See online at https://doi.org/10.1093/poq/nfx009) - (2016). Comparing cognitive interviewing and online probing: Do they find similar results? Field Methods 28: 363-380
Meitinger, K. & Behr, D.
(See online at https://doi.org/10.1177/1525822X15625866) - (2017). Higher data quality in web probing with EvalAnswer: a tool for identifying and reducing nonresponse in openended questions. GESIS - Leibniz Institute for the Social Sciences (Ed.). Cologne, (GESIS Papers 2017, 1). 28 S.
Kaczmirek, L., Meitinger, K., & Behr, D.
