Statistische und praktische Signifikanz von nicht modellkonformen Items in empirischen Bildungsstudien

• Antragstellerin: Dr. Carmen Köhler
• Fachliche Zuordnung: Persönlichkeitspsychologie, Klinische und Medizinische Psychologie, Methoden ; Bildungssysteme und Bildungsinstitutionen
• Förderung: Förderung von 2017 bis 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 388489847

Die Passung von erhobenen Daten auf ein Item Response theoretisches (IRT) Messmodell ist eine notwendige Voraussetzung dafür, valide Aussagen anhand des Messmodells zu treffen (Wainer & Thissen, 1987). Hambleton und Hahn (2005) schlagen mehrere Schritte zur Evaluierung der Modellpassung vor, die unter anderem (a) die Berechnung von Itemfit Statistiken und (b) die Überprüfung der Konsequenzen der Nichtpassung von Items in Bezug auf relevante Testergebnisse beinhalten. Großangelegte Bildungsstudien verwenden unterschiedliche Itemfit-Maße. Einige dieser Statistiken weisen beachtliche Schwächen auf, wie beispielsweise der fehlende theoretische Beweis über die tatsächliche Verteilung der Prüfgröße (Liang, Wells, & Hambleton, 2014). Die fehlende methodische Basis zur Bestimmung akkurater Trennwerte führt zu willkürlichen Entscheidungen bei der Item Auswahl. Es überrascht daher nicht, dass bei Vergleichen zwischen Itemfit-Maßen je nach Itemfit-Maß teilweise unterschiedliche Items als nicht modellkonform galten und dementsprechend unterschiedliche Empfehlungen zum Testausschluss des Items getroffen wurden (z. B. Chon, Lee, & Ansley, 2013). Der zweite Punkt bezieht sich auf die praktische Signifikanz der Nichtpassung von Items (bzw. die Konsequenz der Nichtpassung von Items in Bezug auf relevante Testergebnisse), welche beim Ausschluss von Items selten berücksichtigt wird. Dies ist vor allem darauf zurückzuführen, dass bisweilen keine unmittelbar anwendbare Methode zur Beurteilung praktischer Signifikanz existiert. Im beantragten Projekt sollen (1) Richtlinien zur Verwendung der üblichen als auch neueren Itemfit-Maße entsprechend ihrer Performanz in großangelegten Bildungsstudien aufgestellt werden und (2) Kriterien zur Bestimmung praktischer Signifikanz von nicht modellkonformen Items entwickelt werden. Zum Erreichen des ersten Forschungsziels werden Simulationsstudien durchgeführt, in denen mögliche Einflussfaktoren auf die Performanz der Itemfit-Maße (im Sinne ihres Fehlers 1. Art und ihrer Power) untersucht werden. Zu den Einflussfaktoren gehören (i.) Stichprobengröße, (ii.) Wechselwirkung zwischen Nichtpassung und Item Parametern, (iii.) Art der Modellverletzung (iv.) Stärke der Modellverletzung, (v.) Anteil der nicht modellkonformen Items in den Daten und (vi.) Anteil und Art der fehlenden Werte in den Daten. In Bezug auf die Stärke der Modellverletzung sollen verschiedene Effektstärken zur Klassifizierung in kleine, mittlere und große Modellabweichungen vorgeschlagen werden. Das zweite Forschungsziel beinhaltet die Entwicklung von Methoden zur Erfassung von praktischer Signifikanz nicht modellkonformer Items hinsichtlich relevanter Ergebnisse aus großangelegten Bildungsstudien, insbesondere bei (i.) Zusammenhangsanalysen zwischen Fähigkeit und Kovariaten und (ii.) Kompetenzvergleichen über die Zeit. Empirische Daten (z. B. von PISA oder NEPS) dienen der Validierung der Befunde und der Illustration der postulierten Methoden.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortlich: Professor Dr. Johannes Hartig
• Kooperationspartner: Dr. Alexander Robitzsch