Diagnostik experimenteller Kompetenz. Validierung technologiegestützter Testverfahren im Rahmen eines Kompetenzstrukturmodells
Final Report Abstract
Im Forschungsvorhaben „Diagnostik experimenteller Kompetenz“ (eXkomp) wurden unterschiedliche Verfahren für die Testung experimenteller Fähigkeiten verglichen. Als Benchmark diente ein Test, bei dem Schülerinnen und Schüler reale Experimente planen, durchführen und auswerten. Solche Tests werden wegen des hohen Aufwands für Logistik und Datendokumentation in Large Scale Designs kaum eingesetzt. Wenn sie in Studien verwendet werden erfolgt die Auswertung rein ergebnisbezogen. In eXkomp wurde untersucht, ob realitätsnah gestaltete Computersimulationen experimenteller Untersuchungen geeignet sind, produkt- und prozessbezogene Komponenten (z.B. das Vorgehen beim Messen) reliabel und valide zu erfassen. Außerdem wurden Vergleiche mit einem rein schriftlichen Verfahren angestellt. Grundlage der Testentwicklung ist ein Modell mit 13 Komponenten experimenteller Kompetenz, von denen acht – darunter die Prozesskomponenten – getestet wurden. Die Passung des Modells zum Experimentieren im Physikunterricht wurde über eine Expertenbefragung validiert (ebenso die curriculare Validität der Aufgaben). Es wurden drei inhaltsähnliche Aufgaben zur Elektrizitätslehre entwickelt, in den drei Verfahren realisiert und in zwei Pilotstudien evaluiert. Die Analyse der Aufgabenschwierigkeiten zeigt keine wesentlichen Unterschiede der beiden im Test eingesetzten Aufgaben in ihren jeweiligen Realisierungen. (Die dritte Aufgabe wurde in der Trainingsphase eingesetzt). Beim Vergleich der Testverfahren wird daher nicht inhaltlich nach den Aufgabenstellungen differenziert. In den Pilotstudien wurden zwei prozessorientierte Auswertungsverfahren entwickelt und hinsichtlich ihrer Objektivität (Doppelcodierungen), Reliabilität (Triangulation) und Validität (Vergleiche mit inferenten Experten-Ratings) gesichert. Beiden Verfahren liegt eine kategoriengeleitete Analyse von Videodaten bzw. Bildschirmaufzeichnungen der Schülerhandlungen zugrunde. Bei der Handlungssequenzanalyse werden die Abfolge und die fachliche Richtigkeit von Handlungsschritten untersucht (z.B. beim Schaltungsaufbau). Bei der Arbeitsqualitätsanalyse wird die fachmethodische Qualität der Handlungen beurteilt (z.B. Beachtung von Sicherheitsmaßnahmen). Die Handlungssequenzanalyse kann bei beim computergestützten Test durch Auswertung von Bildschirmnavigationsdaten teilautomatisiert werden. Die Hauptstudie erfolgte in einen Kreuzdesign mit vier Gruppen. Sie wurden auf Grundlage von Begleiterhebungen (Vorwissen, Intelligenz) leistungsmäßig vergleichbar zusammengesetzt. Alle Testpersonen bearbeiteten ein Realexperiment. Dazu kam jeweils entweder der Computersimulationstest oder der schriftliche Test (der als interaktiver Fragebogen ebenfalls online bearbeitet wurde). Voran ging eine Trainingsphase. Die Zusammenhänge zwischen den zugewiesenen Leistungskennwerten in den untersuchten experimentellen Teilkompetenzen wurden mit nicht-parametrischen Verfahren analysiert. Bei den Individualergebnissen zeigen sich beim Vergleich Realexperiment versus schriftlicher Test erwartungskonform sehr wenige signifikante Korrelationen. Aber auch beim Vergleich mit dem Computersimulationstest ergaben sich – hier erwartungswidrig – nur wenige hochsignifikante Korrelationen, und diese liegen im niedrigen Bereich (.3 bis .4). Es wurden daher zusätzlich Analysen der Verteilungen der Leistungskennwerte auf Ebene der Teilpopulationen durchgeführt (Kolmogorow-Smirnov-Tests im Zweistichprobenproblem). Ein Zusammenhang zwischen schriftlichem Test und Test mit Realexperiment ist auch auf Populationsebene bei wesentlichen Prozessaspekten der Durchführung von Experimenten nicht gegeben. Dem gegenüber kann man bei den Leistungsverteilungen von Realexperiment und Computersimulation für alle untersuchten Komponenten experimenteller Kompetenz davon ausgehen, dass keine signifikanten Unterschiede vorliegen. Für eine Diagnostik auf Individualebene scheinen Tests mit Computersimulationsbaukästen aufgrund der geringen Korrelationen nach den vorliegenden Ergebnissen aus eXkomp nicht geeignet zu sein. Für eine Populationsdiagnostik, wie sie bei Large-Scale-Assessments erfolgt, deuten die Ergebnisse hingegen auf eine Eignung hin. Den Hintergründen der geringen Zusammenhänge zwischen den Leistungen bei aufeinander folgenden Experimenten auf Individualebene ist in Folgestudien weiter nachzugehen.
Publications
- (2009). Experimentelle Kompetenz messen?! In: Deutsche Physikalische Gesellschaft, Fachverband Didaktik der Physik (Hrsg.): Vorträge auf der Frühjahrstagung Bochum 2009 (Tagungs-CD) (9 S.)
Schreiber, N., Theyßen, H. & Schecker, H.
- (2009). Experimentelle Kompetenz messen?! In: Physik und Didaktik in Schule und Hochschule 8 Nr. 3, 92-101
Schreiber, N., Theyßen, H. & Schecker, H.
- (2010). Experimental Skills in Science: A Comparison of Assessment Tools. In: Proceedings of the ESERA Summerschool in Udine
Schreiber, N.
- (2010). Vom Versuch experimentelle Kompetenz zu messen.... In: D. Höttecke (Hrsg.): Chemie- und Physikdidaktik für die Lehreramtsausbildung. Gesellschaft für Didaktik der Chemie und Physik. Jahrestagung in Dresden 2009. Münster: LIT-Verlag, 203-205
Schreiber, N., Theyßen, H. & Schecker, H.
- (2011). Auswertungsmethodik im Projekt „Diagnostik experimenteller Kompetenz“. PhyDid B - Didaktik der Physik - Beiträge zur DPG-Frühjahrstagung 2011 in Münster (4 S.)
Schreiber, N., Theyßen, H. & Schecker, H.
- (2011). Diagnostik experimenteller Kompetenz: Ergebnisse von Pilotstudien. In: D. Höttecke (Hrsg.): Naturwissenschaftliche Bildung als Beitrag zur Gestaltung partizipativer Demokratie. Jahrestagung in Potsdam 2010, Münster: LIT, 244-246
Schreiber, N., Theyßen, H., Schecker, H.
- Experimental Competencies In Science: A Comparison Of Assessment Tools. In: Proceedings der ESERA-Conference 2011 in Lyon
Schreiber, N., Theyßen, H. & Schecker, H.
- (2012). Standards, Competencies and Outcomes. A Critical View. In: S. Bernholt, K. Neumann & P. Nentwig (Hrsg.): Making It Tangible - Learning Outcomes in Science Education, Münster: Waxmann, 237-253
Schecker, H.
