Besser als Multiple Choice? Wissensdiagnostik mit alternativen Antwort- und Auswertungsverfahren

• Antragsteller: Dr. Birk Diedenhofen
• Fachliche Zuordnung: Allgemeine, Kognitive und Mathematische Psychologie
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 498045313

Zu den bekannten und häufig beklagten Nachteilen der aufgrund ihrer Ökonomie beliebten Multiple-Choice-Tests gehört die durch das Antwortformat bedingte unzureichende Erfassung von Teilwissen und das Problem der Kontamination durch Ratevarianz. Alternative und heute leichter verfügbare, computergestützte Antwort- und Auswertungsformate versprechen diese Probleme zu lösen. Dazu gehören das Pick-N-Format, das axiomatisch begründete Testformat von Zapechelnyuk (2015) sowie das Antworte-bis-es-stimmt-(Answer-Until-Correct, AUC)-Format. Gemeinsam ist diesen drei Verfahren allerdings, dass ihre Validität bislang nur unzurei-chend und in teilweise schwer interpretierbaren korrelativen Designs untersucht wurde. Auch sind wichtige prozedurale Teilaspekte dieser alternativen Testformate bislang ungeklärt. In den geplanten Untersuchungen sollen diese Fragen einer Klärung zugeführt werden. Dazu soll erstmals eine experimentelle Wissensinduktion eingesetzt werden, um ein aussagekräftiges Außenkriterium für die Validierung der Verfahren heranziehen zu können. Die prinzipiellen Vor-teile dieses Ansatzes konnten für den Bereich der empirischen Optionsgewichtung bereits demonstriert werden (Diedenhofen & Musch, 2017). Die Verwendung empirischer Options-gewichte ist aber in Prüfungskontexten aufgrund ihrer Abhängigkeit vom Antwortverhalten anderer Testteilnehmer aus juristischen Gründen nicht möglich. Der experimentelle Ansatz kann jedoch für die Untersuchung der Frage verwendet werden, welche der neuen rechtssicheren Formate eine Verbesserung hinsichtlich der Reliabilität und der Validität im Vergleich zu konventionellen Multiple-Choice-Testungen erzielen können. In den Experimenten 1 und 2 soll dazu das für das Pick-N-Format optimale Bepunktungs-verfahren bestimmt und die theoretisch wie empirisch bislang ungeklärte Frage untersucht werden, ob eine Bekanntgabe der Anzahl korrekter Antwortoptionen die Validität der Pick-N-Testscores moderiert.In den Experimenten 3 und 4 soll erstmals geprüft werden, ob das von Zapechelnyuk (2015) vorgeschlagene innovative Testformat validere Messungen ermöglicht, oder ob seine Validität durch individuelle Unterschiede in der Antwortschwelle und damit der Ankreuzfreude, die deshalb als experimenteller Faktor manipuliert werden soll, reduziert wird.Vor dem Hintergrund bislang uneinheitlicher korrelativer Ergebnisse soll schließlich in Experiment 5 und 6 experimentell geprüft werden, ob das auch Teilwissen sichtbar machende AUC-Format die Validität von Testscores verbessert, und ob dies von den Eigenschaften der eingesetzten Items abhängt, die dann bei der Konstruktion solcher Tests berücksichtig werden müssten.Auf der Grundlage unserer Experimente werden Testentwickler bei der Wahl unter den derzeit verfügbaren Testformaten eine fundiertere Entscheidung treffen können. Die Ergebnisse werden für alle Bereiche relevant sein, in denen standardisierte Instrumente zur Leistungs- und Lernstandsmessung benötigt werden.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich: Professor Dr. Jochen Musch