Software-based Evaluation of Open-ended items
Final Report Abstract
Aufgrund technischer Entwicklungen ist eine Möglichkeit der Evaluation verschiedener Fähigkeiten, Computer-basierte Erhebungen durchzuführen. Insbesondere offene Formate können dabei mittels einer Software-basierten Evaluation (SBE) direkt vollautomatisch ausgewertet werden. Bislang liegt der Schwerpunkt entsprechender Software auf der Erfassung allgemeiner sprachlicher Fähigkeiten, aber es gibt bereits erste Erfahrungen mit domänenspezifischen Fähigkeiten im Bereich naturwissenschaftlichen Verständnisses von englischsprachigen Studierenden. Bislang zeigen sich bezogen auf konzeptuelles naturwissenschaftliches Verständnis gute Befunde der SBE hinsichtlich aller Testgütekriterien. Im Rahmen der Forschung zum Professionswissen angehender Lehrkräfte sind von Seiten der Fachdidaktik vor allem die Entwicklung des Fachwissens und des fachdidaktischen Wissens relevant. In aktuellen Studien werden zur Erfassung dieser Anteile auch offene Antwortformate genutzt, allerdings sind offene Antwortformate schwierig in Einklang mit der Testökonomie zu bringen. Dies führte zu der Dominanz der gebundenen Antwortformate zum Beispiel in Concept Inventories im Rahmen der Erfassung fachlichen Verständnisses Studierender eben auch bei der Erfassung des Professionswissens. Ziel des beantragten Projektes ist es, die Einsetzbarkeit der SBE im Rahmen der Forschung zum Professionswissen deutschsprachiger Lehramtsstudierender zu überprüfen. Es wurde zunächst anhand Fachwissensaufgaben untersucht, ob der Erhebungsmodus (online vs. Paper-Pencil) einen Einfluss auf die Ergebnisse hat. Unter Kontrolle des Standorts zeigt ein Mann-Whitney-U Test in dieser Erhebung keinen Einfluss des Erhebungsformats. Anschließend wurde mittels wurde Strukturgleichungsmodellen aufgezeigt, dass das Antwortformat in einem nested-factor Design berücksichtigt werden sollte, um die Ergebnisse zu erklären. Ferner wurde der Einfluss des Aufgabenkontexts untersucht. Der Kontext wird hier interpretiert als Möglichkeit der ProbandInnen ihr Verständnis in – aus fachphysikalischer Perspektive – gleichen Situationen unterschiedlicher Oberflächenstruktur darzustellen. Während im offenen Antwortformat der Einfluss des Kontexts immer deutlich wird, ist dies im geschlossenen Antwortformat nur für einen Fall möglich. Folglich ist davon auszugehen, dass auch für Studierende das Antwortformat einen Einfluss auf die Performanz hat. Es lassen sich gute Übereinstimmungswerte für mindestens die Hälfte der Items im Bereich fachdidaktisches Wissen zwischen menschlichen Ratern und der SBE erzielen. Eine Ursache für schlechte Werte scheint jedoch nur bedingt die SBE zu sein. Die Interrater-Übereinstimmungen zwischen den ExpertInnen unterliegen ähnlichen, wenn auch kleineren Schwankungen. Im Bereich Fachwissen fallen die Übereinstimmungen zwischen Rater und SBE durchweg gut bis sehr gut aus. Es scheint so, dass wenig komplexe Fragen sehr leicht in der SBE zu kalibrieren sind, vor allem wenn die Sprache sehr normiert ist.
Publications
- (2014). Der Force Concept Inventory Vergleich einer offenen und einer geschlossenen Version. PhyDid A, 53-61
Härtig, H.
- (2014). Software-basierte Evaluation freier Antwortformate. Zeitschrift für Didaktik der Naturwissenschaften
Härtig, H.
(See online at https://doi.org/10.1007/s40573-014-0012-6)
