Eidetische Repräsentationen Natürlicher Sprache

• Antragsteller: Professor Dr.-Ing. Alan Akbik
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 448414230

Die neuronale Sprachmodellierung ist derzeit einer der Haupttreiber des Fortschritts im Bereich des Natural Language Processing (NLP). Diese Modelle werden mit Hilfe von sehr großen ungelabelten Textdatenmengen trainiert, wodurch sie automatisch weitreichendes syntaktisches und semantisches Sprachwissen erlernen. In den letzten zwei Jahren wurden zahlreiche Modelle zur neuronalen Sprachmodellierung vorgestellt (z.B. ELMo, FLAIR, BERT oder GPT-3), welche zu Durchbrüchen in nahezu allen NLP Anwendungen geführt und das gesamte Forschungsfeld revolutioniert haben. Unsere eigene Vorarbeit FLAIR ist eine der ersten Arbeiten dieser Art und erreichte in vielen NLP Anwendungen einen neuen Stand der Kunst. Jedoch unterliegt die neuronale Sprachmodellierung aktuell drei fundamentalen Einschränkungen an denen wir in unserer Vorarbeit forschen: (1.) Aktuelle Modelle verwenden gigantische Datenmengen und riesige GPU-Cluster. So wurde z.B. GPT-3 auf aus 500 Milliarden Wörtern bestehenden Text trainiert und benötigte einen eigens dafür hergestellten GPU-Supercluster. Derartige Ressourcen liegen weit außerhalb dessen, was nahezu alle Universitäten und Firmen leisten können. Mit diesem Vorhaben begegnen wir diesem Umstand mit Forschung im Bereich "Sample-Efficient Learning" mit dem Ziel, äquivalente Modelle auf bedeutend weniger Daten zu trainieren.(2.) Aktuelle Modelle verwenden rein latente Wissensrepräsentationen, welche Analyse der inneren Zusammenhänge erschweren. Mit diesem Vorhaben führen wir Forschung im Bereich der strukturierten Einbettungsräume durch und erstellen Sprachmodelle mit partieller Struktur. Unser Ziel ist es so, die menschliche Einsicht in die Modelle zu verbessern und deren Robustheit zu erhöhen. (3.) Aktuelle Modelle werden einmalig trainiert und dann verwendet. Während dieser Verwendung lernen diese Modelle aber nicht weiter. Basierend auf unseren Vorarbeiten erforschen wir neuartige Modelle, die niemals aufhören zu lernen (so wie es auch der Mensch nicht tut). Diese Modelle lernen also kontinuierlich neues Wissen hinzu, während sie in Aufgaben eingesetzt werden. Mit diesem Vorhaben bauen wir auf unseren Vorarbeiten auf und führen Forschung in den Bereichen Sample-Efficient Learning, Structured Representations und Never-Ending Learning durch, um diesen drei fundamentalen Einschränkungen zu begegnen und so "Eidetische Repräsentationen Natürlicher Sprache" zu schaffen. Dadurch erwarten wir weitreichende Durchbrüche in vielen NLP Anwendungen.

• DFG-Verfahren: Emmy Noether-Nachwuchsgruppen