Freie Antwortformate Software-basiert evaluieren (FrASe)

• Antragsteller: Professor Dr. Hendrik Härtig
• Fachliche Zuordnung: Allgemeines und fachbezogenes Lehren und Lernen
• Förderung: Förderung von 2013 bis 2016
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 250560060

Aktuell wird dem Professionswissen (angehender) Lehrkräfte viel Aufmerksamkeit gewidmet. Bei den üblicherweise eingesetzten Paper-Pencil-Instrumenten unterscheidet man zwischen gebundenen (geschlossenen) und freien (offenen) Antwortformaten. Im Vergleich zu gebundenen Antwortformaten werden die Probanden bei freien Antwortformaten nicht durch Distraktoren beeinflusst, allgemeine Lösungsstrategien helfen meist ebenfalls nicht. Ferner werden durch freie Antwortformate die zugrunde liegenden Lösungsprozesse detaillierter erfasst. Außerdem verwenden Probanden bei freien Antwortformaten neben fachlich adäquaten Vorstellungen auch Präkonzepte parallel, was sich in gebundenen Formaten nicht feststellen ließe. Je größer die Erhebung ist, desto schwieriger sind freie Antwortformate jedoch in Einklang mit der Testökonomie zu bringen. Es zeigen sich häufig erhebliche Schwierigkeiten, eine angemessene Auswerteobjektivität zu erreichen. Dies führte zu der Dominanz der gebundenen Antwortformate zum Beispiel in Concept Inventories im Rahmen der Erfassung fachlichen Verständnisses Studierender. Aufgrund technischer Entwicklungen ist eine Möglichkeit der Evaluation verschiedener Fähigkeiten, Computer-basierte Erhebungen (CBE) durchzuführen. Bei freien Antwortformaten können die Lösungen zusätzlich mittels einer Software-basierten Evaluation (SBE) direkt vollautomatisch ausgewertet werden. Aufgrund positiver Erfahrungen im Bereich sprachlicher Fähigkeiten existieren erste Versuche bezüglich der Erfassung naturwissenschaftlichen Verständnisses mittels einer SBE. Es zeigt sich, dass bei ausreichender Stichprobengröße, die Interrater-Reliabilität zwischen Software und menschlichen Ratings gleich hoch bis höher ausfällt als zwischen den Experten. Den oben diskutierten Nachteil des hohen Auswerteaufwands freier Antwortformate, kann man mittels der Nutzung der SBE somit unter Umständen ausgleichen.Auf der Basis einer sich bietenden Kooperationsmöglichkeit mit dem Projekt KiL soll in dem hier beantragten Projekt evaluiert werden, inwieweit eine SBE freier Antwortformate möglich und effizient ist. Das KiL-Projekt beschäftigt sich mit der Erfassung des Professionswissens von Lehramtsstudierenden mit mathematisch-naturwissenschaftlichen Fächern. Es werden Tests zum pädagogischen, fachdidaktischen und fachlichem Wissen eingesetzt. Benötigt wird eine entsprechende Anzahl Aufgaben mit freiem Antwortformat. Die im Rahmen des KiL-Projekts verwendeten Aufgaben mit freiem Antwortformat werden bereits pilotiert und hinsichtlich ihrer Auswerteobjektivität aus Expertensicht optimiert sein.

• DFG-Verfahren: Sachbeihilfen
• Beteiligte Person: Professor Dr. Thilo Kleickmann