Health related Bias in Websurveys of the General Oopulation

• Applicant: Professor Dr. Rainer Schnell
• Subject Area: Empirical Social Research
• Term: from 2016 to 2019
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 286253962

• Final Report Year: 2020

Final Report Abstract

In der Surveyforschung sind Websurveys gegenwärtig Standardverfahren zur Primärdatenerhebung deren Verwendung in den letzten Jahren deutlich gestiegen ist. Dies ist vor allem durch die deutlichen kürzen Feldzeiten, geringeren Personalaufwand und den daraus resultierenden geringeren Kosten zu erklären. Allerdings nutzt weder die gesamte allgemeine Bevölkerung das Internet noch ist ein flächendeckender Internetzugang gewährleistet (Undercoverage). Entsprechend gibt es keine geeignete Auswahlgrundlage zur Stichprobenziehung für Websurveys. Darüber hinaus sind die Verweigerungsraten zur Teilnahme (Nonresponse) bei Websurveys im Vergleich zu persönlichen Befragungen deutlich größer. In der Praxis wird versucht die genannten Problematiken durch Gewichtungsverfahren zu korrigieren. Dies erfolgt in der Regel durch die Standardverfahren Raking, Poststratifizierung, GREG. Darüber hinaus finden modellbasierte Verfahren wie Propensity-Gewichtung und Multilevel-Regression mit Post-Stratifizierung Anwendung. Allen Verfahren liegt die Annahme zugrunde, dass der Ausfallmechanismus völlig zufällig ist oder sich durch bekannte Variablen hinreichend erklären lässt. Verzerrungen aufgrund von nicht zufälligen Ausfallmechanismen lassen sich durch keines dieser Gewichtungsverfahren korrigieren. In diesem Projekt wurden sechs unabhängige Gesundheitssurveys der allgemeinen Bevölkerung unter Verwendung eines konstanten Messinstruments, mit dem Ziel Selektionsprozesse zu untersuchen, erhoben. Zur Validierung der erhobenen Daten wurden Daten der Gesundheitsbeobachtung des Bundes, des Statistischen Bundesamtes und der methodisch anspruchsvollsten verfügbaren Surveyerhebungen beschafft. Nach Standardisierung und Bereinigung der Daten wurden diverse Implementationen von Gewichtungsverfahren programmiert, getestet und ein Gewichtungsmodel entwickelt. Die berechneten Korrekturgewichte weisen, unabhängig von Gewichtungsverfahren, zum einen eine deutlich größere Varianz, als auch deutlich extremere Werte auf als dies in den externen Validierungsdaten der Fall ist. Dies ist bereits ein Hinweis auf das Vorliegen von den vermuteten Selektionseffekten. Gegenwärtig wird an einem umfangreichen und systematischen Vergleich der erhobenen Primärdaten und den beschafften externen Validierungssdaten unter Verwendung der verschiedenen Korrekturgewichte gearbeitet.

Publications

• (2016): Bias in Websurveys der allgemeinen Bevölkerung am Beispiel des Gesundheitszustands: Fragebogenentwicklung. Research Methodology Group, Universität Duisburg-Essen. No. 01
  Schnell, Rainer & Jonas Klingwort
  
• (2016): Bias in Websurveys der allgemeinen Bevölkerung am Beispiel des Gesundheitszustands: Pretest. Research Methodology Group, Universität Duisburg-Essen. No. 02
  Schnell, Rainer & Jonas Klingwort
  
• (2017): Bias in Websurveys der allgemeinen Bevölkerung am Beispiel des Gesundheitszustands: Field Work & Data Editing. Research Methodology Group, Universität Duisburg-Essen. No. 03
  Schnell, Rainer & Leo Panreck
  
• (2017): Bias in Websurveys der allgemeinen Bevölkerung am Beispiel des Gesundheitszustands: Übersicht Amtliche Vergleichsdaten. Research Methodology Group, Universität Duisburg-Essen. No. 04
  Schnell, Rainer & Leo Panreck
  
• (2017): Comparing the same Questionnaire between five Online Panels: A Study of the Effect of Recruitment Strategy on Survey Results. European Survey Research Association (ESRA) 2017: 17–21 July 2017; Lisbon, 18.07.2017
  Schnell, Rainer & Leo Panreck
  
• (2019): Bias in Websurveys der allgemeinen Bevölkerung am Beispiel des Gesundheitszustands: Datenaufbereitung der demographischen Variablen für fünf verschiedene Websurveys. Research Methodology Group, Universität Duisburg-Essen. No. 05
  Schnell, Rainer & Jonas Klingwort
  
• (2019): Bias in Websurveys der allgemeinen Bevölkerung am Beispiel des Gesundheitszustands: Datenaufbereitung der demographischen Variablen für fünf verschiedene Websurveys. Research Methodology Group, Universität Duisburg-Essen. No. 06
  Schnell, Rainer & Jonas Klingwort
  
• (2019): Bias in Websurveys der allgemeinen Bevölkerung am Beispiel des Gesundheitszustands: Die Anwendung gängiger Gewichtungsverfahren zur Gewichtung fünf verschiedener Websurveys. Research Methodology Group, Universität Duisburg-Essen. No. 07
  Schnell, Rainer & Jonas Klingwort
  
• (2019): Multilevel-Regression und Post-Stratifizierung zur Schätzung gesundheitsrelevanter Merkmale für geographische Subgruppen. Research Methodology Group, Universität Duisburg-Essen. No. 08
  Schnell, Rainer & Jonas Klingwort