Development of a subject-independent instrument for a video-based classification of meta-cognitive-discursive instructional quality using the examples of the subjects history, mathematics, religion
Final Report Abstract
Ziel des Forschungsprojekts war die Entwicklung eines fachübergreifend konzipierten, zuverlässigen Beobachtungsinstruments zur videobasierten Beurteilung metakognitiv-diskursiver Unterrichtskultur. In zukünftigen Studien soll es u.a. zur Erforschung von Zusammenhängen zwischen der beurteilten Unterrichtsqualität und der Schülerleistung eingesetzt werden. Das Instrumentarium wurde zweistufig konzipiert: 1. Stufe: Die Raterin / der Rater analysiert videobasiert einzelne Sprechakte einer Unterrichtsszene und kategorisiert metakognitive und diskursive Aktivitäten mit einem Kategoriensystem. 2. Stufe: Dieselbe Raterin / derselbe Rater analysiert global ihre / seine Kategorisierung und beurteilt regelgeleitet die metakognitiv-diskursive Qualität der gesamten Unterrichtssequenz auf mehreren Skalen eines hoch inferenten Ratingsystems. Während das Kategoriensystem aus bestehenden Arbeiten der Arbeitsgruppe „Kognitive Mathematik“ (Universität Osnabrück) hervorging, wurde das Ratingsystem neu entwickelt. Es umfasst sieben Leitfragen, die unterschiedliche Facetten metakognitiv-diskursiver Unterrichtsqualität erfassen. Für dieses Ratingsystem wurde ein umfassendes Manual entwickelt. Sowohl das Kategoriensystem als auch die Leitfragen des Ratingsystems mit den dazugehörigen Antwortkategorien wurden zwar fachübergreifend formuliert, nehmen aber bei einer konkreten Anwendung die für das jeweilige Fach relevanten fachdidaktischen Aspekte wirksamer Lehr-Lernprozesse in den Blick. Eine weitere Besonderheit des Ratingverfahrens ist, dass es sowohl die Aktivitäten der Lehrkraft als auch die der Lernenden sowie die Interaktionen zwischen den Beteiligten beurteilt. Zur Evaluation des Ratingsystems wurde gymnasialer Unterricht überwiegend in Klasse 7 videografiert: je 20 Unterrichtsstunden in Geschichte und Religion (jeweils 5 Klassen à 4 Unterrichtsstunden) und 24 Unterrichtsstunden in Mathematik (6 Klassen à 4 Unterrichtsstunden). Das Ratingsystem wurde mittels Generalisierbarkeitsstudien auf Zuverlässigkeit überprüft. Durch nachfolgende Entscheidungsstudien wurde ermittelt, wie viele Sequenzen pro Lehrkraft erforderlich wären, um die metakognitiv-diskursive Qualität zuverlässig zu messen. Für die Qualifizierung von RaterInnen wurde ein intensives Schulungskonzept entwickelt. Geschult wurden je drei RaterInnen für die Fächer Geschichte und Mathematik, die jeweils alle Unterrichtsszenen des jeweiligen Fachs unabhängig voneinander beurteilt haben. Für das Fach Religion waren es zwei RaterInnen. In allen drei Fächern (mit Ausnahmen einer Leitfrage im Fach Mathematik) haben die RaterInnen die Unterrichtsqualität im hohen Ausmaß übereinstimmend beurteilt. Damit wurde gezeigt, dass verschiedene Beobachter unabhängig voneinander zu gleichen Urteilen bezüglich der metakognitiv-diskursiven Unterrichtsqualität kommen, wenn sie dazu durch eine geeignete Raterschulung qualifiziert werden. Für die Frage, wie stabil die eingeschätzte Unterrichtsqualität über mehrere Stunden derselben Lehrperson in derselben Klasse hinweg ist, konnte gezeigt werden, dass für die Fächer Mathematik und Religion nur zwei bis drei Unterrichtsstunden pro Lehrkraft / Klasse hinreichend wären, um generalisierbare Urteile der metakognitiv-diskursiven Unterrichtsqualität zu erhalten (mit Ausnahme von je einer Leitfrage). Im Fach Geschichte sind die Urteile hingegen sehr instabil und lassen sich nicht einfach generalisieren. Mögliche Ursachen dafür sind im Abschlussbericht erläutert. Aufgrund der durchgeführten Studien lässt sich somit festhalten, dass mit dem Instrumentarium ein praktikables, sehr zuverlässiges zweistufiges Verfahren zur Beurteilung metakognitiv-diskursiver Unterrichtsqualität im Fach Mathematik und Religion entwickelt wurde. Gilt der Anspruch auf die Generalisierbarkeit der Urteile nicht, dann steht mit dem entwickelten Ratinginstrument ein zuverlässiges Instrument zur Einschätzung metakognitiv-diskursiver Qualität einer einzelnen Unterrichtsstunde sowie einer Unterrichtseinheit (wenn alle Unterrichtsstunden dieser Einheit ausgewertet werden) in allen drei Fächern zur Verfügung.
Publications
-
(2018) Beschreibung und Beurteilung von (metakognitiver und diskursiver) Unterrichtsqualität im Mathematikunterricht. In: Vorträge zur Mathematikdidaktik und zur Schnittstelle Mathematik/Mathematikdidaktik auf der gemeinsamen Jahrestagung GDM und DMV 2018
Cohors-Fresenborg, Elmar; Nowińska, Edyta; Rott, Benjamin
-
(2018) Der Stellenwert von Diskursivität in einer mehrdimensionalen Beurteilung der Qualität metakognitiver Aktivitäten im Unterricht. In: Vorträge zur Mathematikdidaktik und zur Schnittstelle Mathematik/Mathematikdidaktik auf der gemeinsamen Jahrestagung
Cohors-Fresenborg, Elmar; Nowińska, Edyta
-
(2016). Entwicklung eines schulfachübergreifenden hoch inferenten Ratingsystems zur reliablen Beurteilung metakognitiv diskursiver Unterrichtsqualität. In Beiträge zum Mathematikunterricht 2016 S. 711-714. Münster: WTM
Nowińska, E.
-
(2016). High inference rating system for an evaluation of metacognitiv-discursive teaching and learning quality, S. 46-55. In S. Zehetmeier, B. Rösken-Winter, D. Potari & M. Ribeiro (Eds.), ERME Topic Conference on Mathematics Teaching, Resources and Teacher Professional Development
Nowińska, E.
-
(2016). Leitfragen zur Analyse und Beurteilung metakognitiv-diskursiver Unterrichtsqualität. Osnabrück: Forschungsinstitut für Mathematikdidaktik
Nowińska, E.
-
(2017). Evaluation of a Rating System for the Assessment of Metacognitive-Discursive Instructional Quality, S. 3121-3128. In T. Dooley & G. Gueudet (Eds.), Proceedings of the Tenth Congress of the European Society for Research in Mathematics Education. Dublin: DCU Institute of Education & ERME
Nowińska, E. & Praetorius, A.-K.
-
(2017). Geschichtsunterricht zuverlässig beurteilen. Vorstellung eines Beobachtungsinstruments zur Bestimmung von Unterrichtsqualität. Zeitschrift für Geschichtsdidaktik, 16, 250-265
Zülsdorf-Kersting, M. & Praetorius, A.-K.
-
Stabilität der metakognitiv-diskursiven Unterrichtsqualität
zwischen den Unterrichtsstunden in einer Klasse. in: Vorträge zur Mathematikdidaktik und zur Schnittstelle Mathematik/Mathematikdidaktik auf der gemeinsamen Jahrestagung GDM und DMV 2018 (52. Jah
Nowińska, E., Cohors-Fresenborg, E., & Praetorius, A.
-
Metakognition im Geschichtsunterricht. Ein Beitrag zur Diskussion von Unterrichtsqualität. In W. Schreiber & B. Ziegler (Hrsg.), Geschichtsdidaktischer Zwischenhalt. Beiträge aus der Tagung «Kompetent machen für ein Leben in, mit und durch Geschichte» in
Zülsdorf-Kersting, M.
