Erfassung und Modellierung integrierter akademisch-sprachlicher Kompetenzen

• Antragstellerinnen / Antragsteller: Professorin Dr. Claudia Harsch; Professor Dr. Johannes Hartig
• Fachliche Zuordnung: Allgemeines und fachbezogenes Lehren und Lernen ; Angewandte Sprachwissenschaften, Computerlinguistik
• Förderung: Förderung seit 2019
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 429641868

Das hier beantragte Vorhaben stellt eine Verlängerung des seit 01/2020 laufenden Projekts "Erfassung und Modellierung integrierter akademisch-sprachlicher Kompetenzen" dar. Im Kontext internationaler Studiengänge sind akademisch-sprachliche Kompetenzen in Englisch ein entscheidender Faktor für einen erfolgreichen Studienverlauf. Um akademisch-sprachliche Kompetenzen zu erfassen, bieten sich authentische integrierte Aufgabenformate an, bei denen Textproduktion auf Basis zuvor gelesener Texte gefordert wird (reading into writing). Aus der Komplexität dieser Aufgaben resultiert eine höhere Komplexität der geforderten Kompetenzen, da mehrere Sprachfertigkeiten wie Lesen und Schreiben simultan eingesetzt werden müssen. Ziel des Projekts ist es, ein besseres Verständnis der akademisch-sprachlichen Kompetenzen zu gewinnen, die der erfolgreichen Bearbeitung integrierter Aufgaben zugrunde liegen. Damit zusammenhängend werden auch die Kriterien zur Bewertung der studentischen Textprodukte und die Urteilsprozesse der Bewerter*innen untersucht, da diese für die Qualität der Kompetenzmessungen von zentraler Bedeutung sind. Im aktuell laufenden Projekt wurden vier integrierte Aufgaben und ein Bewertungsschema zur Bewertung der integrierten Schreibprodukte entwickelt. Es wurden Daten an N = 414 Studierenden und Abiturientinnen erhoben, die 674 integrierte Schreibprodukte verfassten. Die Texte wurden von geschulten studentischen Bewerter*innen eingeschätzt. Qualitative Daten, die durch Interviews mit Studierenden und Bewerter*innen gewonnen wurden, geben wichtige Einblicke in Bearbeitungs- und Bewertungsprozesse. Quantitative Testdaten zeigen u.a., dass die erfassten Leistungen relativ unabhängig von separat erfassten Lese- und Schreibfähigkeiten sind. Die Qualitätskriterien weisen eine etwas andere dimensionale Struktur auf als angenommen. Die durch Menschen eingeschätzte Textqualität lässt sich zu substanziellen, aber unterschiedlich großen Anteilen durch Textvariablen vorhersagen, die mit computerlinguistischen Methoden gebildet wurden. Ein zentraler problematischer Befund ist jedoch, dass die Beurteiler-Übereinstimmungen der Bewertungen teilweise zu gering sind, um bei Einfach-Bewertungen der Texte eine befriedigende Reliabilität zu erreichen. In der hier beantragten Verlängerung sollen die vorliegenden Texte von Lehrkräften (English for academic purposes) erneut eingeschätzt werden, um die quantitativen Analysen auf einer besseren Datengrundlage zu wiederholen. Zugleich wird hierdurch ein Vergleich der Urteile von Bewerter*innen mit unterschiedlicher Expertise möglich. Darüber hinaus sollen bei der computerbasierten Aufgabenbearbeitung aufgezeichnete Logdaten ausgewertet werden, um weitere Erkenntnisse über Bearbeitungsprozesse zu gewinnen. Schließlich werden Analysen zur Vorhersage der menschlichen Urteile durch computerbasierte Textbewertungen u.a. mit Methoden des maschinellen Lernens vertieft.

• DFG-Verfahren: Sachbeihilfen