Optimal design for online generated intelligence tests
Final Report Abstract
In der dritten Phase dieses Projekts „Optimales Design für online generierte adaptive Intelligenztestverfahren“ging es um die Entwicklung von regelgeleiteten, on the fly generierten Aufgaben zur Messung der Gedächtniskapazität bzw. der Merkfähigkeit. Dazu wurde ein R-Programm, das als Open Source zur Verfügung steht, programmiert. Die so entwickelten Aufgaben wurden erfolgreich anhand von Rasch-Poisson Counts-Modellen kalibriert. Im Weiteren ging es um die Analyse von Retest-Effekten bei kognitiven Testverfahren. Dazu wurden zunächst Meta-Analysen zur Analyse der Zuwächse von Scores aus kognitiven Leistungstests, die anhand des Berliner Intelligenzstrukturmodells differenziert wurden, und von Scores von Arbeitsgedächtnistests untersucht. Auf der sehr umfassenden Grundlage von insgesamt 190 Studien ergaben sich generell nichtlineare Zuwächse für die kognitiven Intelligenzscores bis zur dritten Testadministration und bei den Arbeitsgedächtnistests bis zum vierten Messzeitpunkt. Die Effekte werden durch eine Vielzahl von moderierenden Variablen beeinflusst. Ausgehend von den Resultaten der Meta-Analysen wurde eine umfangreiche empirische Studie zur Analyse von Retest-Effekten unter Einbezug von Testängstlichkeit durchgeführt sowie Versuchspläne für entsprechende longitudinale Studien entwickelt. In der empirischen Studie wurden Testwiederholungseffekte bei der Messung kognitiver Fähigkeiten über sieben Messzeitpunkten anhand von parallele Versionen eines regelbasierten figuralen Matrizentests analysiert. Zusätzlich wurde zu jedem Messzeitpunkt die Testängstlichkeit erhoben, um ihren potentiellen Einfluss auf die Wiederholungseffekte zu erfassen. Es wurde ein theoretisches Modell entwickelt und zur Überprüfung dieses Ansatzes ein Strukturgleichungsmodell mit latenten Wachstumskurven im Sinne des Baseline-Change-Modells eingesetzt. Signifikante Einflüsse der Testängstlichkeit ergaben sich im Wesentlichen beim ersten Messzeitpunkt und - in schwächerem Ausmaß - zum zweiten Messzeitpunkt. Dabei wurde die größten Testwiederholungseffekt-Stärken vom ersten auf den zweiten Messzeitpunkt beobachtet, wahrend darauffolgende Testwiederholungseffekte signifikant schwächer ausfielen. Nach dem vierten Messzeitpunkt wurden keine signifikanten Testwiederholungseffekte beobachtet. Optimale Versuchspläne wurden für longitudinale linear-logistische Testmodelle und Rasch-Poisson-Counts-Modelle entwickelt. Für die Veränderung der Testleistungen bei Retestungen wurde der Wachstumsverlauf der Erwartungswerte der zufälligen Effekte (Fähigkeiten) durch geeignete Funktionen erfasst. Dabei erfolgte die Modellierung über eine sigmoide (logistische) Süttigungskurve (4-PL-Modell) und für die Rasch-Poisson-Counts-Modelle uber eine exponentielle Sättigungskurve. Hier wurden für die linearlogistische Testmodelle optimale Allokationen der Items über fest vorgegebene Testzeitpunkte für eine sigmoide Sättigungskurve bei unterschiedlichen, zugrundeliegenden Korrelationsstrukturen (Blockeffekt, Autokorrelation) untersucht und numerisch bestimmt. Für die Rasch-Poisson-Counts-Modelle wurden unter Annahme gamma-verteilter Fähigkeiten und unter Berücksichtigung von Blockeffekten die optimale Allokationen bei vorliegender exponentieller Sättigungskurve untersucht und für praktisch relevante Parameterkombinationen numerisch ermittelt.
Publications
- (2016) Algebraic geometry of Poisson regression. Journal of Algebraic Statistics, 7 (1), 29-44
Kahle, T., Oelbermann, K.-F. & Schwabe, R.
(See online at https://doi.org/10.18409/jas.v7i1.43) - (2016) Optimal design for the Rasch Poisson-Gamma model. In: J. Kunert, C. H. Müller and A. C. Atkinson (Eds.): mODa 11 - Advances in Model-Oriented Design and Analysis, pp. 133-141. Springer
Graßhoff, U., Holling, H. & Schwabe, R.
(See online at https://doi.org/10.1007/978-3-319-31266-8_16) - (2018). Response Time Reduction Due to Retesting in Mental Speed Tests: A Meta-Analysis. Journal of Intelligence, 6 (1), 6
Scharfen, J., Blum, D., & Holling, H.
(See online at https://doi.org/10.3390/jintelligence6010006) - (2018). Retest effects in cognitive ability tests: A meta-analysis. Intelligence, 67, 44–66
Scharfen, J., Peters, J. M., & Holling, H.
(See online at https://doi.org/10.1016/j.intell.2018.01.003) - (2018). Retest effects in working memory capacity tests: A meta-analysis. Psychonomic Bulletin & Review, 25 (6), 2175–2199
Scharfen, J., Jansen, K., & Holling, H.
(See online at https://doi.org/10.3758/s13423-018-1461-6) - (2019). Creative ideation, broad retrieval ability, and processing speed: A confirmatory study of nested cognitive abilities. Intelligence, 75, 59–72
Forthmann, B., Jendryczko, D., Scharfen, J., Kleinkorres, R., Benedek, M., & Holling, H.
(See online at https://doi.org/10.1016/j.intell.2019.04.006) - (2019). Optimal designs for K-factor two-level models with first-order interactions on a symmetrically restricted design region. Statistical Papers, 60 (2), 495-513
Freise, F. & Schwabe, R.
(See online at https://doi.org/10.1007/s00362-018-01063-x) - (2019). The Impact of Situational Test Anxiety on Retest Effects in Cognitive Ability Testing: A Structural Equation Modeling Approach. Journal of Intelligence, 7 (4), 22
Jendryczko, D., Scharfen, J., & Holling, H.
(See online at https://doi.org/10.3390/jintelligence7040022) - (2020) Introducing a computerized figural memory test based on automatic item generation: An analysis with the Rasch Poisson counts model. Frontiers in Psychology, section Quantitative Psychology and Measurement
Jendryczko, D., Berkemeyer, L., & Holling, H.
(See online at https://doi.org/10.3389/fpsyg.2020.00945) - (2020) Optimal designs for Poisson count data with Gamma block effects. Journal of Statistical Planning and Inference, 204, 128-140
Schmidt, M. & Schwabe, R.
(See online at https://doi.org/10.1016/j.jspi.2019.05.002) - (2020) Optimality regions for designs in multiple linear regression models with correlated random coefficients. Journal of Statistical Planning and Inference, 209, 267-279
Graßhoff, U., Holling, H., Röttger, F. & Schwabe, R.
(See online at https://doi.org/10.1016/j.jspi.2020.04.004) - (2020). D-Optimal Design for the Rasch Counts Model with Multiple Binary Predictors. British Journal of Mathematical and Statistical Psychology
Graßhoff, U., Holling, H. & Schwabe, R.
(See online at https://doi.org/10.1111/bmsp.12204) - (2020). Optimal designs for two-level main effects models on a restricted design region. Journal of Statistical Planning and Inference, 204, 45-54
Freise, F., Holling, H. & Schwabe, R.
(See online at https://doi.org/10.1016/j.jspi.2019.04.005)
