Unterstützung der Bewertung von Freitextaufgaben durch sprachliche Normalisierung von Antworten

• Antragstellerinnen / Antragsteller: Professorin Dr. Andrea Horbach; Professor Dr.-Ing. Torsten Zesch
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Angewandte Sprachwissenschaften, Computerlinguistik
• Förderung: Förderung seit 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 563947383

Neben der Vermittlung von Wissen ist die Überprüfung des Lernerfolges eine der wichtigsten Aufgaben in jedem Lehr-Lern-Prozess. Dabei spielen Freitextaufgaben, d.h. Aufgaben, die als Antwort einen kurzen, frei formulierten Text erfordern, in vielen Fächern eine zentrale Rolle. Durch die Varianz der Lernerantworten ist eine vollständig automatisierte Bewertung durch maschinelle Lernverfahren bisher nur in sehr begrenzten Maße möglich. Insbesondere die Intransparenz und fehlende Erklärbarkeit der Modelle steht dem praktischen Einsatz im Wege. Wir schlagen daher ein alternatives Paradigma für den Einsatz von künstlicher Intelligenz und Sprachverarbeitung zur Unterstützung der Bewertung vor, bei dem nicht die eigentliche Bewertung automatisiert wird (mit all den damit verbundenen Akzeptanzproblemen und ethischen Herausforderungen), sondern die Bewertung weiter vom Menschen vorgenommen wird unter Zuhilfenahme von Textnormalisierungsmethoden. Damit zielen wir auf eine leichtere Adaptierung auf neue Aufgaben und gleichzeitig eine deutliche Entlastung der Lehrenden bei zeitaufwändigen Bewertungsaufgaben. Damit diese Ziele erreicht werden können, liegt ein zentraler Fokus des Projektes auf der Weiterentwicklung der Textnormalisierungsverfahren, damit die sprachliche Varianz der Antworten deutlich reduziert werden kann. Ein weiterer Schwerpunkt liegt in der praktischen Einbindung eAssessment-Systeme und der Durchführung von Nutzungsstudien unter realistischen Bedingungen. Wir untersuchen insbesondere, wie Bewertende mit dem System interagieren und wie dieses Vorgehen die Genauigkeit und den zeitlichen Aufwand der Bewertungen im Vergleich zur herkömmlichen menschlichen Bewertung einerseits und zu einem vollautomatischen Bewertungsmodell andererseits beeinflusst. Die Forschungsgemeinschaft wird in vielfältiger Weise über die erzielten Forschungsergebnisse hinaus von dem Projekt profitieren: Zur Erforschung der Textnormalisierungsverfahren wird ein annotierter Datensatz erstellt werden, der über das Projekt hinaus frei zur Verfügung stehen und weitere Untersuchungen der zugrundeliegenden linguistischen Phänomene befruchten wird. Die sprachliche Normalisierung wird zum Teil als Shared Task mit der Community organisiert und so weitere Forschung auf diesem Gebiet angeregt. Alle entwickelten Werkzeuge, insbesondere die Integration der unterstützten Bewertung mit sprachlicher Normalisierung, werden zudem als open-source-Projekte bereitgestellt.

• DFG-Verfahren: Sachbeihilfen