Akkuratheit des Q-Matrix-Validierungsalgorithmus und Sensitivität der Modellfit-Indizes für verschiedene Arten der Q-Matrix-Fehlspezifikation für kognitive Diagnosemodelle (DiaFit)

• Antragstellerin: Professorin Dr. Olga Kunina-Habenicht, Ph.D.
• Fachliche Zuordnung: Persönlichkeitspsychologie, Klinische und Medizinische Psychologie, Methoden
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 520899465

Kognitive Diagnosemodelle (DCM) bilden eine international viel diskutierte aber in Deutschland wenig bekannte Familie konfirmatorischer probabilistischer Modelle mit kategorialen latenten Variablen. Sie ermöglichen die Abbildung der Kompetenzen in mehrdimensionalen Profilen, die zur Erstellung informativer Rückmeldungen und Ableitung geeigneter individueller Unterstützungsmaßnahmen dienen können. Für Schätzung von DCM ist die Spezifikation von Attributen in einer sogenannten Q-Matrix erforderlich, in der die für die Lösung der einzelnen Aufgaben erforderlichen Teilkompetenzen festgelegt werden. Die Festlegung der Q-Matrix ist von zentraler Bedeutung, da sie die theoretische Basis von DCM darstellt. In praktischen Anwendungen ist die wahre Q-Matrix jedoch unbekannt und kann falsche Einträge enthalten. Dieses Phänomen wird als Q-Matrix-Fehlspezifikation bezeichnet. Es ist üblich, zwischen verschiedenen Arten von Q-Matrix-Fehlspezifizierungen zu unterscheiden: Überspezifikation, Unterspezifikation und ausbalancierter Fehlspezifikation. Es wurden verschiedene Algorithmen zur empirischen Validierung der Q-Matrix entwickelt, deren Akkuratheit jedoch nur für ausgewählte Typen der Q-Matrix-Fehlspezifikation untersucht wurde. Darüber hinaus bleibt die Beurteilung der Modellfitpassung bei DCM eine Herausforderung, obwohl in der Vergangenheit verschiedene absolute und relative Modellfitindizes für DCM vorgeschlagen wurden. Das Projekt DiaFit untersucht in einer komplexen Simulationsstudie und einer Anwendungsstudie wichtige methodische Fragen in Bezug auf die Beurteilung des Modellfit-passung und die Akkuratheit des Algorithmus zur Validierung der Q-Matrix für verschiedene Arten der Q-Matrix-Fehlspezifikation für log-lineare DCM. In der Simulationsstudie wird die Sensitivität verschiedener absoluter und relativer Modellfit-Indizes (z.B. AIC, BIC, MAD, RMSEA) für drei verschiedene Arten von fehlspezifizierten Q-Matrizen (Überspezifizierung, Unterspezifizierung und ausbalancierter Fehlspezifikation) untersucht. Außerdem wird die Robustheit des Q-Matrix-Validierungsalgorithmus betrachtet. In der Simulation werden neben der Komplexität der Itemstruktur in der Q-Matrix auch die Anzahl der Befragten, Attribute und Items variiert. Die Ergebnisse werden den Wissensstand bezüglich der Beurteilung der Modellpassung und der Robustheit des Q-Matrix-Validierungsalgorithmus bei log-linearen DCM wesentlich erweitern und zudem auch die Ableitung von Empfehlungen für die Beurteilung der Modellfitindizes bei DCM in der Praxis ermöglichen. Die Ergebnisse der Simulation werden in einer Sekundäranalyse auf zwei verschiedene Datensätze zu arithmetischen Fähigkeiten in der Grundschule angewandt, die bereits erhoben wurden und zu denen auch bereits Q-Matrizen vorliegen. Diese Anwendungsstudie wird veranschaulichen, wie verschiedene Modellfit-Indizes und die Q-Matrix-Validierungsmethode in praktischen Anwendungen eingesetzt werden können, wenn die wahre Q-Matrix unbekannt ist.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Luxemburg
• Kooperationspartner: Philipp Sonnleitner