ASSET - Authentische Schülerinnen- und Schülertexte bewerten soll verlängert werden zu TRACE - Tranieren diagnostischer Kompetenzen mit englischsprachigen Schülertexten

• Antragsteller: Professor Dr. Jens Möller
• Fachliche Zuordnung: Erziehungswissenschaftliche Sozialisations- und Professionalitätsforschung ; Allgemeines und fachbezogenes Lehren und Lernen ; Entwicklungspsychologie und Pädagogische Psychologie
• Förderung: Förderung seit 2016
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 315271436

TrACE (Training Assessment Competencies in English as a Second Language) ist ein Projekt zur geplanten Fortsetzung von zwei D-A-CH-Projekten: ASSET (Bewertung der englischen Texte von Schülern) und MEWS (Messung des englischen Schreibens auf der Sekundarstufe). Während sich ASSET mit den Bewertungskompetenzen von Lehrern bei der Beurteilung von englischen Schülertexten befasst, liefert MEWS einen großen Bestand an authentischen Schülertexten mit holistischen (menschlichen und maschinellen) Bewertungen. TrACE definiert folgende Ziele:1) Entwicklung menschlicher und maschineller Ratings der Textqualität für einen umfangreichen Korpus authentischer Schülertexte (Studien 1 & 2);2) Analyse der Faktoren auf Lehrer-, Schüler-, Text- und Beurteilungsebene, die die Fähigkeit von erfahrenen Englischlehrern und Lehramtsstudierenden bestimmen, komplexe Schülertexte im Vergleich zu Bewertungen von Menschen und Maschinen genau zu bewerten (Studie 3);3) Entwicklung und Validierung von Online-Trainingsmaßnahmen zur Steigerung der Urteilsgenauigkeit (Studien 4, 5 & 6).Empirische Studien haben gezeigt, dass die Urteilgenauigkeit bei Texten höher ist, wenn analytische statt holistischer Scores verwendet werden (Dempsey et al., 2009). In Studie 1 werden daher menschliche Rater Teile des MEWS-Korpus anhand der in ASSET verwendeten analytischen Skalen bewerten (Jansen et al., 2019). Diese in Schulen gebräuchlichen Kriterien dienen als Grundlage für Studie 2, in der wir automatische Bewertungsstandards für die analytischen Skalen unter Verwendung von NLP-Software (Natural Language Processing) entwickeln und validieren, die als Standards in einer Reihe weiterer empirischer Studien verwendet werden.In Studie 3 wird der Einfluss von Lehrereigenschaften (Qualifikation, Fachwissen), Schülereigenschaften (Geschlecht, Migrationshintergrund), Textmerkmalen (Aspekte der Textqualität) und Beurteilungsmerkmalen (psychometrische Merkmale der analytischen Skalen) auf die Urteilsgenauigkeit der Lehrer untersucht. Da wir mit einem großen Korpus natürlicher, authentischer Schülertexte arbeiten, können wir mit dieser Studie alle Schlüsselfaktoren der Beurteilungsgenauigkeit als kontinuierliche Variablen in einer einzigen Studie untersuchen.In Studie 4 wird untersucht, ob Lehrer in ihrer Bewertung genauer werden, wenn sie maschinell generiertes Feedback auf den einzelnen Skalen erhalten. In Studie 5 erhalten Lehrer automatisch generiertes visualisiertes Feedback zum Wortschatz als Schlüsselmerkmal der Textqualität, um festzustellen, ob das Feedback die Urteilsgenauigkeit erhöht. In Studie 6 wird analysiert, ob solches Feedback zur argumentativen Struktur dazu beiträgt, Texte genauer zu bewerten.Basierend auf den Ergebnissen dieser Studien werden wir ein frei verfügbares umfassendes Online-Trainingsinstrument für Lehrer und Lehramtsstudierende zur Textbewertung erstellen.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Schweiz
• Kooperationspartner: Professor Dr. Stefan Keller