Analyse und automatische Abschätzung der Qualität maschinell generierter Texte

• Antragsteller: Professor Dr.-Ing. Sebastian Möller
• Fachliche Zuordnung: Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 436813723

Das Forschungsvorhaben beschäftigt sich mit der wahrgenommenen Qualität von maschinell generierten Texten. Der Fokus liegt hierbei auf den beiden Texttypen maschinelle Übersetzung und maschinelle Zusammenfassung. Ziel des Projektes ist es, perzeptive Qualitätsdimensionen zu identifizieren, subjektive Methoden zu ihrer Quantifizierung bereitzustellen, automatisiert extrahierbare Parameter zu bestimmen, die mit der Textqualität korrelieren und daraus Vorhersagemodelle zu entwickeln, welche eine Schätzung der Gesamtqualität eines maschinell generierten Textes liefern können.Die Entwicklung der Vorhersagemodelle erfolgt mittels verschiedener Korpora für die deutsche und englische Sprache. Auf Basis dieser Korpora werden für die Qualitätsschätzung relevante Dimensionen bestimmt und in Probandentests (durch Crowdsourcing und im Labor) überprüft. Für jede identifizierte Qualitätsdimension werden relevante Textparameter automatisiert aus den Texten extrahiert, und diese mit den subjektiven Dimensionsbewertungen korreliert. Auf Basis der Parameter werden Vorhersagemodelle für beide Texttypen erstellt, sowohl für einzelne Qualitätsdimensionen wie auch für die Gesamtqualität, und bezüglich der Unterschiede zwischen den Texttypen analysiert. Abschließend werden diese Vorhersagemodelle in einer unabhängigen Testreihe auf ihre Generalisierbarkeit getestet.

• DFG-Verfahren: Sachbeihilfen