Entwicklung von Mischverteilungs-Item-Response-Modellen zur Analyse von Cross-Classified Multirater Daten und deren Anwendung in der Lehrevaluationsforschung (MixIRT-CCM)
Zusammenfassung der Projektergebnisse
Das Projekt zielte darauf ab, Modelle für Daten zu entwickeln, bei denen Zielpersonen (engl. Targets) von mehreren und teilweise denselben Beurteilern (engl. Raters) anhand mehrerer Items mit geordneten Antwortkategorien bewertet werden, wobei angenommen wird, dass die Raterpopulation heterogen ist und sich aus mehreren latenten Subpopulationen zusammensetzt (Mischverteilungsannahme, engl. Mixture distribution assumption). Die Daten werden als cross-classified Multirater-Daten bezeichnet und die entwickelten Modelle als Mixture-Cross-Classified-Item-Response-Theory-Modelle. Es wurden Graded-Response und (Generalized-)Partial-Credit-Modelle für die genannten Daten entwickelt. Die Modelle wurden auf Basis der Stochastischen Messtheorie definiert und unter Verwendung der Open-Source-Software Stan bayesianisch geschätzt. Zur Beurteilung und Vergleich der Modelle wurde Leave-One-Out Cross-Validation sowie Stacking verwendet. Der gesamte Modellcode wurde mitveröffentlicht und ist frei verfügbar. Um Modellvergleiche mittels der o.g. Verfahren (LOO- CV und Stacking) durchzuführen, wurde eigens ein Integrationsalgorithmus zur Berechnung der marginalisierten Likelihood entwickelt, der auf ähnliche Modelle übertragen werden kann. Bei der Analyse von Lehrevaluationsdaten der Friedrich-Schiller-Universität Jena mithilfe der Modelle wurden zwei latente Raterpopulationen gefunden, die ein extremes vs. moderates Antwortverhalten zeigen. Die Ergebnisse legen nahe, dass der Heterogenität der Studierenden in der Lehrevaluationsforschung Rechnung getragen werden sollte. Die Ergebnisse einer Simulationsstudie zeigen, dass die Parameterschätzung in den entwickelten Modellen zufriedenstellend funktioniert.
Projektbezogene Publikationen (Auswahl)
-
Introducing Bayesian mixture crossclassified IRT models [Konferenzbeitrag]. 15. Konferenz der Fachgruppe für Methoden & Evaluation, Mannheim.
Bee, R. M. & Koch, T.
-
Identification of composed CFA models – A tutorial on how to identify bifactor and related models which include latent criterion variables [Konferenzbeitrag]. 52. Kongress der Deutschen Gesellschaft für Psychologie, Hildesheim.
Bee, R. M., Koch, T. & Eid, M.
-
A General Theorem and Proof for the Identification of Composed CFA Models. Psychometrika, 88(4), 1334-1353.
Bee, R. Maximilian; Koch, Tobias & Eid, Michael
-
Managing the Intricacies of Teaching Evaluation Data with Mixture Cross-Classified Item Response Theory Models.
Bee, R. Maximilian & Koch, Tobias
