Deutschsprachige Schülertexte bewerten: ASSET-G weiter als Training von Assessment Kompetenzen in Deutsch (TrACE-G )

• Antragsteller: Dr. Thorben Jansen; Professor Dr. Jens Möller
• Fachliche Zuordnung: Allgemeines und fachbezogenes Lehren und Lernen ; Entwicklungspsychologie und Pädagogische Psychologie
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 456083968

TrACE-G (Training Assessment Competencies in German) untersucht Determinanten diagnostischer Urteilsbildung und deren Beeinflussung bei der Beurteilung von Texten von Schülerinnen und Schülern. TrACE-G ist eine direkte Fortsetzung von ASSET-G (Assessing Students' Texts ) und steht in Verbindung mit zwei D-A-CH Projekten: ASSET (Assessing Student's English Texts) und TrACE (Training Assessment Competences in English as a second language). Während ASSET und ASSET-G Lehrerbewertungen von Texten in Englisch und Deutsch vor allem in experimentellen Studien analysierten, fügt TrACE eine umfassende Analyse authentischer Schülertexte und Interventionen zur Förderung der Urteilsgenauigkeit für Lehrkräfte im Fach Englisch hinzu. TrACE-G setzt diese Arbeit für Texte im Fach Deutsch fort und integriert automatisierte Bewertungshilfen, die prüfen sollen, inwiefern Large Language-Modelle (LLM) über die Steigerung der Salienz von Textmerkmalen den Urteilsprozess steuern, die Urteilsgenauigkeit erhöhen und Verzerrungen reduzieren können. Die Hauptforschungsfragen sind: 1. Welche Charakteristika von Lehrkräften, Texten und Urteilen hängen mit der Beurteilungsgenauigkeit und den Beurteilungsfehlern von Lehrkräften im Kontext des Schreibens von Berichten im Fach Deutsch zusammen? 2. Wie genau können bewertungsrelevante Textcharakteristika im Vergleich zu Expertenkommentaren mit Hilfe von Large Language-Modellen (LLM) automatisch hervorgehoben werden? 3. Erhöht die automatische Hervorhebung von bewertungsrelevanten Textmerkmalen deren Salienz im Urteilsprozess und damit die Beurteilungsgenauigkeit und reduziert Urteilsverzerrungen? Unsere Arbeit beginnt mit der umfassenden Untersuchung, welche Text- und Schülermerkmale zum diagnostischen Prozess, zur Urteilsgenauigkeit und zu Verzerrungen beitragen. Die Arbeit mit einem großen Korpus authentischer Schülertexte aus dem IQB ermöglicht es, Determinanten der Urteilsgenauigkeit und Verzerrungen innerhalb einer einzigen Studie vergleichend zu untersuchen. In dieser Studie 1 wird der Einfluss von Lehrkraft-, Text- und Urteilsmerkmalen auf die Urteilsgenauigkeit von Lehrkräften ermittelt. Anschließend werden wir als Manipulation der Salienz bewertungsrelevanter Textmerkmale die automatische Hervorhebung von Rechtschreibfehlern, inhaltlichen Aspekten und Aspekten der Textart Bericht unter Verwendung von LLM entwickeln, die es ermöglichen die Hervorhebungen auf weitere Textarten zu übertragen (Studie 2). Dabei werden die Annotationen mit denen von Expertinnen und Experten verglichen, um die Qualität der automatisierten Annotationen sicherzustellen (Studie 3). Wir werden die von den LLMs erstellten In Studie 4 wird untersucht, ob Lehrkräfte, die Texte mit automatisch annotierten Textmerkmale erhalten, diese in ihrem Beurteilungsprozess verstärkt berücksichtigen und dadurch in ihrer Beurteilung genauer werden und Verzerrungen reduzieren.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortliche: Professorin Dr. Andrea Horbach; Privatdozent Dr. Simon Tiffin-Richards