Development of reading achievement in second grade: Construction of a process-oriented test series for learning progress assessment using rule-based item design
Final Report Abstract
Formatives Assessment stellt einen wirksamen Ansatz dar, Unterricht auf Basis diagnostischer Informationen anzupassen. Eine vor allem im sonderpädagogischen Kontext genutzte Form formativen Assessments ist die sogenannte Lernverlaufsdiagnostik, bei der anhand hoch ökonomischer, paralleler Tests in kurzen zeitlichen Abständen die Leistungsentwicklung von Schülerinnen und Schülern in zentralen Kompetenzen erfasst wird. Herausforderungen bei der Lernverlaufsdiagnostik betreffen zum einen die Konstruktion gleich schwieriger Tests sowie die empirische Prüfung der Äquivalenz. Das Ziel des vorliegenden Projektes war, die Eignung eines regelgeleiteten Konstruktionsanasatzes für die Entwicklung äquivalent schwieriger Lesetests zu untersuchen, sowie die psychometrische Güte der Testreihe zu analysieren. Ein besonderer Fokus lag hierbei auf der Äquivalenz der Paralleltests. Im Projekt wurden zunächst schwierigkeitsgenerierende Merkmale auf Wort-, Satz- und Textebene identifiziert, die im Anschluss systematisch zur Konstruktion äquivalenter Testitems zur Erfassung von Leseleistungen auf Wort-, Satz- und Textebene kombiniert wurden. Anhand umfangreicher längsschnittlicher Daten aus zwei Teilstichproben wurden die psychometrischen Voraussetzungen der Testreihe überprüft. Folgende zentrale Ergebnisse wurden gefunden: (1) Die angenommene dreifaktorielle Struktur der Lesetests ließ sich bestätigen. (2) Die neuentwickelte Testreihe erwies sich als reliables und sensitives Instrument, um Lernzuwächse im Lesen bei Schülerinnen und Schülern zu erfassen. (3) Die regelgeleitete Itemkonstruktion konnte erfolgreich für die Entwicklung äquivalent schwieriger Lesetests genutzt werden. (4) Wie erwartet beeinflussten die identifizierten Merkmale sowohl die Itemschwierigkeit als auch die Itemlatenz. (5) Die Sensitivität der Items konnte nicht durch die zur Konstruktion verwendeten Merkmale prädiziert werden. Das Projekt umfasste zudem eine umfassende Validierung des neuen Verfahrens. Hierzu wurden kriteriale sowie konstruktkonvergente und –divergente Maße erhoben. Die durchgeführten Analysen zeigen: (1) hohe Korrelationen der neuentwickelten Lesetests mit qualitativen und quantitativen Lehrereinschätzungen der Leseleistungen ihrer Schülerinnen und Schüler. (2) Das Korrelationsmuster mit standardisierten Lese-, Intelligenz- und Mathematiktests unterstreicht die konvergente und divergente Validität des Verfahrens. (3) Der mit der Testreihe erfasste Lernzuwachs ist prädiktiv valide für die Leseleistungen zum Schuljahresende und zwar inkrementell zu statusdiagnostischen Informationen aus standardisierten Lesetests. (4) Der mit quop-L2 erfasste Lernzuwachs korreliert positiv mit der anhand standardisierter Lesetests erfassten Kompetenzzunahme der Schülerinnen und Schüler auf Satz- und Textebene, jedoch nicht auf Wortebene. Die Ergebnisse sind im Einklang mit vorherigen Befunden zur regelgeleiteten Konstruktion von figuralen und numerischen Aufgabeninhalten (vgl. Freund, Hofer, & Holling, 2008; Holling, Bertling, & Zeuch, 2009) und zeigen, dass eine regelgeleitete Itemkonstruktion einen fruchtbaren Ansatz zur Entwicklung äquivalent schwieriger Tests zur Lernverlaufsdiagnostik darstellt. Zukünftige Arbeiten sollten sich insbesondere der Identifikation von Merkmale widmen, die die Sensitivität von Items prädizieren können.
Publications
- (2016). Konstruktion einer Testreihe zur Leseprozessbezogenen Lernverlaufsdiagnostik mit Hilfe regelgeleiteter Itemdesigns. 50. Kongress der Deutschen Gesellschaft für Psychologie (Leipzig, September, 18-22, 2016)
Förster, N., Kuhn, T.-J., Munske, J. & Souvignier, E.
- (2017). Construction of a test series for learning progress assessment in reading using rule-based item design. 16th biennial meeting of the European Association of Research on Learning and Instruction (Tampere, August, 29 - September, 2, 2017)
Förster, N., Kuhn, J.-T., Munske, J. S. J., & Souvignier, E.
- (2018). Global and differential sensitivity of learning progress assessments in reading and the influence of item properties. 9th meeting of the SIG Assessment and Evaluation of the European Association of Research on Learning and Instruction (Helsinki, August, 29-31, 2018)
Förster, N., Naumann, A., Hochweber, J. & Souvignier, E.
- (2019). Ice is hot and water is dry – Development of a test series for learning progress assessment in reading using rule-based item design. 26th annual meeting of the Society for the Scientific Study of Reading (Toronto, July, 17-20, 2019)
Förster, N., Kuhn, J.-T., Munske, J.S.J., & Souvignier, E.
- (2019). Zur Differenzierung von Wort-, Satz- und Textebene in Leseverständnistests: Ein Vergleich von faktoranalytischen Ansätzen. 17. Fachtagung Pädagogische Psychologie (Leipzig, September, 9-12, 2019)
Forthmann, B., Förster, N., & Souvignier, E.
- (2021) Using Digital Data to Support Teaching Practice – quop: An Effective Web-Based Approach to Monitor Student Learning Progress in Reading and Mathematics in Entire Classroomss. In S. Jornitz & A. Wilmers (Hrsg.), International Perspectives on School
Souvignier, E., Förster, N., Hebbecker, K., & Schütze, B.
(See online at https://doi.org/10.2307/j.ctv1gbrzf4.20)
