Neuro-symbolische Textgenerierung aus Graphen

• Antragsteller: Dr. Jonas Groschwitz
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Angewandte Sprachwissenschaften, Computerlinguistik
• Förderung: Förderung von 2022 bis 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 492792184

Zahlreiche Anwendungen sorgen zur Zeit für ein wachsendes Interesse an Computerprogrammen, die direkt in menschlicher Sprache kommunizieren können. "Smart Home" Geräte zum Beispiel reden mit ihren Benutzern, und Computer schreiben automatische Zusammenfassungen und beantworten Fragen. Diese Interaktionen beinhalten den für Computer herausfordernden Schritt, Sätze in menschlichen Sprachen zu erzeugen. Der Beitrag dieses Projekts liegt an jener Stelle, an welcher der Computer schon weiß was er sagen will, aber noch nicht, wie er es sagen kann. Das heißt, der Computer hat schon eine abstrakte Version seiner Äußerung erstellt, in einem Format mit dem er intern arbeiten kann, aber nun muss er das in Worte fassen -- inklusive Satzstruktur und richtiger Grammatik.Für komplexen Text benutzen aktuelle Systeme neuronale Netze für diesen Schritt. Neuronale Netze sind leistungsfähige Instrumente aus dem maschinellen Lernen, die auf großen Datenmengen trainiert werden und erstaunlich menschen-ähnlichen Text generieren. Allerdings sind die neuronalen Netze oft nicht ganz akkurat, und fügen dem Satz gegenüber dem internen Plan des Computers etwas hinzu oder lassen etwas weg. Das heißt, manchmal drückt der generierte Text nicht das aus, was der Computer eigentlich sagen wollte. Zusätzlich sind neuronale Netze oft undurchsichtig; ihr Innenleben besteht hauptsächlich aus Listen von schwer zu interpretierbaren Zahlen. In diesem Projekt werde ich explizite, auf linguistischen Prinzipien basierende Strukturen in diesen Prozess einführen. Das macht es einfacher zu verstehen, was in dem System passiert, da die linguistischen Strukturen greifbar und interpretierbar sind. Außerdem formen die linguistischen Strukturen ein Gerüst entlang dem das System den Text generieren kann, so dass der Text nahe an der ursprünglichen, abstrakten Repräsentation des Computers bleibt.Das Projekt leistet zwei zentrale technische Beiträge. Zunächst werde ich untersuchen, wie die linguistischen Strukturen und die neuronalen Netze am besten zusammenspielen, d.h. welche Methode die beiden zu kombinieren am besten dafür sorgt, dass das System fließenden, natürlichen Text generiert der genau die richtige Bedeutung hat. Dann werde ich eine Methode entwickeln, welche die linguistischen Strukturen lernen kann, wenn ihr nur Paare von abstrakten Repräsentationen und den dazugehörigen Sätzen vorliegen. Solche Paare sind die Standardform in der Trainingsdaten in diesem Forschungsbereich vorliegen, und eine Methode die die zugrundeliegenden linguistischen Strukturen lernen kann wird in der Praxis sehr wichtig sein.Ich werde außerdem eine Benutzeroberfläche entwickeln, die die linguistischen Strukturen und somit das Innenleben des Textgenerierungssystems visualisiert. Schließlich werde ich das System in Anwendungsszenarien wie Gespräche zwischen Menschen und Robotern testen, und für diese optimieren.

• DFG-Verfahren: WBP Stipendium
• Internationaler Bezug: Großbritannien, Niederlande
• Gastgeberinnen / Gastgeber: Privatdozentin Raquel Fernández; Privatdozent Dr. Ivan Titov