Konstruktion instruktionssensitiver Testitems

• Antragsteller: Professor Dr. Johannes Hartig
• Fachliche Zuordnung: Allgemeines und fachbezogenes Lehren und Lernen
• Förderung: Förderung von 2018 bis 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 413256626

In den letzten Jahrzehnten wurden Leistungstestergebnisse von Schülerinnen und Schülern regelmäßig als ein zentrales Kriterium für die Beurteilung der Effektivität von Schule und Unterricht verwendet. Politische Entscheidungsträger nutzen Testergebnisse zum Beispiel, um Schulen für ihr Handeln verantwortlich zu machen. Bildungsforscher verwenden Testergebnisse regelmäßig als abhängige Variablen, um individuelle, Klasse- oder Schulmerkmale zu identifizieren, die das Lernen fördern oder beeinträchtigen. Darüber hinaus ist die Leistung der Studierenden das am häufigsten angewandte Kriterium für die Beurteilung der Wirksamkeit bestimmter Aspekte der Unterrichtsqualität. Sowohl Bildungsforscher als auch politische Entscheidungsträger erwarten alo, dass Tests nützliche Informationen über die Wirksamkeit von Lernumgebungen liefern. Diese Interpretation setzt voraus, dass die Instrumente in der Lage sind, die Auswirkungen des Unterrichts zu erfassen, d.h. dass die Tests und Items instruktionssensitiv sind. Instruktionssensitivität ist daher eine wesentliche Grundlage für die Validität der Verwendung von Testergebnissen als Kriterium für die Effektivität von Unterrichts. Trotz der Verfügbarkeit fundierter und erprobter Methoden zur Messung der Instruktionssensitivität bestehender Tests und Testaufgaben gibt es wenig Wissen darüber, wie man neue instruktionssensitive Aufgaben konstruiert. So zielt das vorgeschlagene Projekt auf zwei Hauptziele ab: (1) die Untersuchung von Itemeigenschaften, die die Instruktionssensitivität erhöhen, und (2) eine genauere Untersuchung von Unterrichtsvariablen, die Unterricht und Antworten in standardisierten Testaufgaben verbinden. Der im Projekt zu untersuchende Inhaltsbereich sind lineare Gleichungen, wie sie im Mathematikunterricht der Sekundarstufe gelehrt werden. Es werden fünf Meilensteine definiert, die jeweils den erfolgreichen Abschluss aufeinanderfolgender Projektphasen markieren. Diese Hauptphasen sind (I) die Identifikation und Spezifikation von Itemeigenschaften mittels Experteninterviews und Sekundäranalysen, (II) die Entwicklung von Testaufgaben, die sich systematisch in Bezug auf die identifizierten Itemeigenschaften unterscheiden, (III) die Sammlung von Schülerleistungsdaten sowie von Unterrichtsartefakten, (IV) Analysen zur Beantwortung der wichtigsten Forschungsfragen und (V) die Veröffentlichung von Ergebnissen für das Publikum sowohl aus der pädagogisch-psychologischen Diagnostik als auch aus der Unterrichtsforschung. Die gezielte Konstruktion instruktionssensitiver Testitems kann dazu beitragen, die Instruktionssensitivität von Tests ohne aufwendige Erprobungen und / oder den Rückgriff auf bestehend Instrumente zu ermöglichen und damit die Ökonomie von Assessments in der Bildungsforschung erhöhen. Darüber hinaus kann das Wissen über die Konstruktion von instruktionssensitiven Testitems die Validitätsargumente dieser Studien erheblich stärken.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Schweiz
• Kooperationspartner: Professor Dr. Jan Hochweber
• Mitverantwortlich: Dr. Alexander Naumann