SPP 1292: Survey Methodology
Final Report Abstract
Wissenschaftliche Surveys stellen ein unverzichtbares und zugleich einfiussreiches Instrument der Sozialforschung dar, wenn über ihre Ergebnisse die öffentliche Meinung und Entscheidungen in Wirtschaft, Gesellschaft, Politik und Verwaltung beeinflusst werden. Es ist entsprechend sicherzustellen, dass Surveys über eine Qualität verfügen, die diesem Einfluss gerecht wird. Mit dem Programm verbindet sich entsprechend das übergeordnete Ziel, Survey-Methoden so weiterzuentwickeln, dass sie diese Qualität besser als in der Vergangenheit erreichen und in einer durch technischen Fortschritt und sozialen Wandel gekennzeichneten Welt auch noch künftig erreichen können. Ein erster Schwerpunkt der Forschungsarbeit lag in der Identifikation und Analyse von Nonresponse-, Modus- und Responseeffekten und somit in einer Analyse von Fehlerquellen, die die Qualität von Survey-Daten stark beeinträchtigen können. Belastbare Evidenz liegt jetzt zum internen Zusammenhang zwischen diesen Effekten und zu deren Ursachen vor. Eng damit verknüpft, lag ein zweiter Schwerpunkt der Forschungsarbeit in der Analyse der Grundlagen des Teilnahme- und Antwortverhaltens für unterschiedliche Arten von Surveys, Panels, Erhebungsmodi, Frage- und Antwortformaten. Hervorzuheben ist hier, dass über verschiedene Modellierungen der Antwortneigung der Einfluss relevanter Faktoren auf individuelle Responsewahrscheinlichkeiten quantifiziert werden konnte und nun entsprechende Korrekturfaktoren zur Verfügung stehen. Auch konnte über mehrere Experimente der Einfluss von Befragungsanreizen bestimmt werden. Drittens sollte der Herausforderung begegnet werden, ausfallbedingte Verzerrungen in Stichproben zuverlässig bestimmen zu können. Neben anderen Techniken wurde hierzu die einmalige Gelegenheit genutzt, auf administrative Individualdaten als Benchmarks zurückzugreifen. Die Qualität von Survey-Daten kann nicht nur durch differentielle Ausfälle bei der Stichprobenausschöpfung beeinträchtigt werden, sondern auch durch Messfehler. Dies trifft etwa auf Erinnerungsfehler und Antworten auf sensitive Fragen zu. Ein weiterer Schwerpunkt der Forschungsarbeit lag entsprechend in diesen Bereichen und konnte sich dafür teilweise auf administrative Bezugsdaten stützen. Das Programm hat nicht nur aus diesen Vergleichsmöglichkeiten großen Nutzen ziehen können, sondern z.B. auch das Instrumentarium zur Erfragung sensitiver Fragen innovativ weiterentwickelt. Entwickelt wurden zudem für Websurveys und Telefonsurveys besondere kognitive Befragungstechniken, und zwar zum „Web-Probing" und „Respondent debriefing" in ansonsten standardisierten Surveys. Ein weiterer Forschungsschwerpunkt lag beim „Interviewer". Große Themen hier: die Identifikation von gefälschten Interviews und Interviewereffekte. In beiden Hinsichten konnten klare Erkenntnisfortschritte erzielt werden. Besonders erwähnenswert: die Weiterentwicklung von Techniken zur Erkennung gefälschter Angaben im Interview. Das Thema „Nonresponse" betrifft nicht nur den Ausfall ganzer Interviews, sondern auch fehlende Werte für einzelne Fragen innerhalb eines Interviews. Der Umgang mit fehlenden Werten stellt inzwischen eine hoch entwickelte Wissenschaft für sich dar. Dennoch bestand weiterer Forschungsbedarf in Bezug auf die Weiterentwicklung spezieller Missing-Data Techniken. Hierfür konnten statistische Analysetools entwickelt werden. Zum Programm gehören Projekte zu unterschiedlichen Arten von Designs und Surveys, neben Bevölkerungsbefragungen z.B. auch Betriebsbefragungen. Mehrere Projekte widmeten sich der Access-Panel Forschung. Dabei ging es u.a. um die Entwicklung von Hochrechnungsfaktoren und Varianzschätzungen.
