Vorhersagebasierte adaptive Designs für Panelstudien

• Antragsteller: Professor Dr. Tobias Gummer; Dr. Christoph Kern; Dr. Bernd Weiß
• Fachliche Zuordnung: Empirische Sozialforschung
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 495763090

Adaptive Befragungsdesigns bieten umfassende Möglichkeiten um Stichprobenausfälle und Verzerrungen durch systematische Nicht-Teilnahme in Panelstudien zu reduzieren. Zugleich ist die Forschung zum effektiven Einsatz adaptiver Befragungsdesigns in zwei zentralen Bereichen bislang unzureichend: (1) Hinsichtlich der Vorhersagemethoden, die zum Identifizieren von Stichprobenausfällen angewendet werden, und (2) in Hinblick auf die Interventionen, die in adaptiven Designs für Gruppen mit hohem erwarteten Ausfallrisiko zur Anwendung kommen. Vor diesem Hintergrund kombiniert dieses Forschungsprojekt die Implementierung und Erprobung innovativer Vorhersagemethoden aus dem Bereich des maschinellen Lernens mit innovativen Interventionen, die den Panelteilnehmern mit hohem vorhergesagten Ausfallrisiko zugeordnet werden können. Die Vorhersagemodelle werden explizit längsschnittlich trainiert und evaluiert, um möglichst effektiv Panelteilnehmer identifizieren zu können, bei denen ein erhöhtes Ausfallrisiko in neuen Panelwellen besteht. Auf Basis der vorhergesagten Ausfallwahrscheinlichkeiten des besten Modells wird in einem nächsten Schritt die Wirksamkeit verschiedener Interventionen getestet. Dabei wird neben erhöhten monetären Anreizen insbesondere der Einsatz innovativer Interventionen untersucht, die darauf abzielen, das Befragungserlebnis zu verbessern. Das gemeinsame Testen dieser Strategien kann einen bedeutsamen Beitrag zur bisherigen Forschung zu adaptiven Designs leisten, und zur Beantwortung der Frage beitragen, welcher Ansatz am besten geeignet ist um die Teilnahmebereitschaft und das Engagement von Befragten zu erhöhen. Die Interventionen werden weiterhin nicht nur hinsichtlich ihrer Auswirkungen auf die Teilnahmebereitschaft verglichen und bewertet, sondern auch unter Berücksichtigung anderer, potenziell unbeabsichtigter Auswirkungen auf die Datenqualität. Das Projekt wird im Rahmen einer Mixed-Mode-Panelstudie, dem GESIS-Panel, umgesetzt und trägt damit der zunehmenden Bedeutung von selbst-administrierten Mixed-Mode-Studien Rechnung, die nicht erst seit der COVID-19-Pandemie aufgrund ihres hohen Nutzen-Kosten Verhältnisses an Bedeutung gewinnen. Darüber hinaus wird die Übertragbarkeit der entwickelten Methodik auf andere Panelstudien untersucht. Dazu gehört die Verwendung maschinellen Lernens zur Vorhersage von Panelausfällen im familiendemografischen Panel (FReDA) und im sozio-oekonomischen Panel (SOEP). Damit kann die Design-Abhängigkeit der Vorhersageergebnisse und damit das Potenzial der Verwendung vorhersagebasierter adaptiver Designs in weiteren Befragungsinfrastrukturen evaluiert werden.

• DFG-Verfahren: Sachbeihilfen