Testengagement und Testverhalten: Modellierung der Bearbeitungsprozesse beim Auslassen von Aufgaben und beim Raten
Zusammenfassung der Projektergebnisse
Testverhalten – welches sich unter anderem durch Nichtbeantwortung von Items oder Raten zeigt – hat großen Einfluss auf die Ergebnisse der Messung kognitiver Fähigkeiten. Dieses Projekt konzentrierte sich auf die Erhöhung der Validität und Vergleichbarkeit von Messungen kognitiver Fähigkeiten durch die Modellierung des Testverhaltens und die Untersuchung des Antwortprozesses. Wir fokussieren speziell auf die Modellierung des Geschwindigkeits- Genauigkeits-Kompromisses (SAT), der Aufgaben-Nichtbeantwortung und des Ratens sowie auf die Unterscheidung von engagiertem und nicht engagiertem Testverhalten. Dazu haben wir unterschiedliche Perspektiven eingenommen und Modelle für Antworten und Antwortzeiten in Tests aus verschiedenen psychometrischen Ansätzen vorgeschlagen, darunter IRT- basierte Modelle, Akkumulatormodelle und Diffusionsmodelle. Diese Ansätze ermöglichen es, unterschiedliche Annahmen zu treffen und unterschiedliche Aspekte des Beantwortungsprozesses darzustellen. Zunächst entwickelten wir verschiedene Modelle zur Untersuchung des SAT in kognitiven Tests und deren Zusammenhang mit Anstrengung: Ein Wachstumskurvenmodell, welches das 2-PL-Modell mit einem Log-Normal-Faktor-Modell kombiniert, und ein Wachstumskurvenmodell, das auf Diffusionsmodellen basiert. Wir fanden Belege für unterschiedliche Veränderungsprozesse während eines Tests (Lernen, Adaption) und für individuelle Unterschiede im Kompromiss zwischen Geschwindigkeit und Genauigkeit. Zweitens entwickelten wir Modelle zur Untersuchung der Nichtbeantwortung von Fragen, in denen die Nichtbeantwortung entweder durch früheres Testverhalten oder durch die Menge der Informationsakkumulation beeinflusst wird: ein Modell, das die bedingte Abhängigkeit von Antwortausfällen und früheren Antwortprozessindikatoren berücksichtigt, und ein Prozessmodell, das auf Informationsakkumulation basiert. Im Vergleich zu früheren Modellen erklären diese den Antwortprozess besser, da sie die starken Annahmen über die bedingte Unabhängigkeit zwischen den Antworten, den Antwortzeiten und der Nichtbeantwortung von Items lockern. Wir haben Hinweise darauf gefunden, dass frühere Antworten sowie die Geschwindigkeit der Informationsakkumulation in einem bestimmten Item mit der Nichtbeantwortung des Items zusammenhängen. Wir erweiterten bisherige Modelle und trennen explizit Nichtbeantwortung von Fragen aufgrund von engagierter vs. nicht-engagierter Aufgabenbearbeitung. Drittens haben wir Modelle entwickelt, um grundsätzlich engagierte von nichtengagierter Aufgabenbeantwortung zu unterscheiden. Diese Modelle (Race-Modelle) basieren auf einem Wettlauf zwischen Informationsakkumulation und Motivationsprozessen. Abhängig von der Modellversion basieren nicht engagierte Antworten auf einem zufälligen oder einem informierten Rateprozess. Es wurden Erweiterungen der Modelle entwickelt, die eine Entscheidung zwischen Raten und Nichtbearbeitung von Aufgaben mitmodellieren. In Testdaten fanden wir, dass eine Minderheit der Testteilnehmer dazu neigt, während des gesamten Tests unmotiviert zu antworten. Diese Testteilnehmer raten zufällig, ohne auf Teilwissen zurückzugreifen. Abschließend führten wir eine experimentelle Studie durch, um die Parameter einiger Modelle zu validieren. Die Ergebnisse sprechen dafür, dass der Kompromiss zwischen Geschwindigkeit und Genauigkeit bei kognitiven Tests tatsächlich vorliegt und mit Wachstumskurvenmodellen erfasst werden kann. Die Ergebnisse für die Race-Modelle zeigen, dass die Testleistung mit der Fähigkeit und der Persistenz zusammenhängt, welche die von den Testteilnehmern für eine Aufgabe aufgewendete Zeit bestimmt. Die Daten der experimentellen Studie werden veröffentlicht und sind frei verfügbar.
Projektbezogene Publikationen (Auswahl)
-
Disentangling Different Aspects of Change in Tests with the D-Diffusion Model. Multivariate Behavioral Research, 58(5), 1039-1055.
Ranger, Jochen; Wolgast, Anett; Much, Sören; Mutak, Augustin; Krause, Robert & Pohl, Steffi
-
Modeling speed-ability trade-off and test-taking persistence - Parameter validation for two psychometric models
Much, S., Mutak, A., Pohl, S. & Ranger, J.
-
A Model-Based Approach to the Disentanglement and Differential Treatment of Engaged and Disengaged Item Omissions. Multivariate Behavioral Research, 59(3), 599-619.
Ulitzsch, Esther; Zhang, Susu & Pohl, Steffi
-
Modeling the Intraindividual Relation of Ability and Speed within a Test. Journal of Educational Measurement, 61(3), 378-407.
Mutak, Augustin; Krause, Robert; Ulitzsch, Esther; Much, Sören; Ranger, Jochen & Pohl, Steffi
