Halluzinationen bei der neuronalen Textgenerierung: Eine theoretische Perspektive

• Antragsteller: Professor Dr. Damien Garreau
• Fachliche Zuordnung: Künstliche Intelligenz und Maschinelle Lernverfahren ; Theoretische Informatik
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 573859924

Die neuronale Textgenerierung hat sich weit verbreitet, insbesondere mit dem Aufkommen großer Sprachmodelle und deren Einsatz als Chatbots wie ChatGPT. Obwohl die erzeugten Texte meist flüssig sind, das heißt frei von grammatikalischen und syntaktischen Fehlern, kann ihre Bedeutung manchmal vollständig vom Eingabetext abweichen. Dieses Phänomen, bekannt als Halluzination, steht im Mittelpunkt unseres Projekts. Unser Ziel ist es, die theoretische Grundlage zum Verständnis von Halluzinationen bei der neuronalen Textgenerierung zu legen. Wir stellen folgende Forschungsfragen: (1) Können Halluzinationen zuverlässig erkannt werden? und (2) Sind Halluzinationen im aktuellen Modellrahmen unvermeidbar? Zur Beantwortung der ersten Frage schlagen wir vor, die theoretische Untersuchung bestehender Erkennungsmethoden einzuleiten. In vereinfachten Settings wollen wir Unsicherheits-basierte Erkennungsmethoden analysieren, indem wir die Verteilung der zufälligen Ausgaben charakterisieren. In einer zweiten Phase setzen wir uns zum Ziel, zu beweisen, dass Halluzinationen im klassischen Encoder-Decoder Transformer-Architektur Framework tatsächlich unvermeidbar sind. Dabei konzentrieren wir uns auf zwei Szenarien: Erstens die Token-Einfügung, eine eher künstliche Methode zur Erhöhung der Halluzinationsrate, und zweitens gespeicherte Beispiele, die empirisch als anfälliger für Halluzinationen gelten.

• DFG-Verfahren: Sachbeihilfen