Detailseite
Projekt
Aufmerksamkeit in großen Sprachmodellen: Linguistische Fundierung, kognitive Modellierung und Soziale Anwendung
Antragstellerinnen / Antragsteller
Professorin Dr. Nicole Gotzner; Professor Dr. Sebastian Musslick
Fachliche Zuordnung
Angewandte Sprachwissenschaften, Computerlinguistik
Förderung
Förderung seit 2026
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 579383584
Große Sprachmodelle (LLMs) haben die Verarbeitung natürlicher Sprache grundlegend verändert, doch die Mechanismen ihres Erfolgs sind nur teilweise verstanden. Ein zentrales Element ist der Aufmerksamkeitsmechanismus, der kontextuelle Abhängigkeiten zwischen Wörtern kodiert und linguistisch bedeutsame Muster offenlegt. Sein Wert als erklärendes Instrument für die Modellierung menschlichen Verhaltens ist jedoch umstritten. Es fehlen methodische Standards, die definieren, wann Aufmerksamkeit sich in linguistisch und kognitiv fundierte Konzepte überführen lässt und wie daraus Metriken für transparente und sichere Anwendungen entstehen – etwa zur Verbesserung wissenschaftlicher und medizinischer Kommunikation. In diesem Projekt prüfen wir die Hypothese, dass der Aufmerksamkeitsmechanismus in LLMs als computationales Analogon menschlichen Textverständnisses verstanden werden kann. Wir verfolgen drei Ziele: (O1) Verankerung des Mechanismus in linguistischer, kognitiver und psycholinguistischer Theorie des Textverständnisses (grundlegendes Verständnis), (O2) datengetriebene Entdeckung aufmerksamkeitsbasierter Metriken und Validierung anhand von Verhaltens- und neuronalen Korrelaten (robuste Bewertung) sowie (O3) Anwendung entdeckter Metriken zur Beurteilung und Personalisierung der Verständlichkeit wissenschaftlicher und medizinischer Texte (sichere Anwendbarkeit). Zusammen tragen diese Ziele zu den Säulen des LaSTing-Schwerpunktprogramms bei. Zur Umsetzung entwickelt Teilprojekt 1 eine theoriebasierte Wort-Fazilitationsmetrik aus Aufmerksamkeitsverteilungen in Transformermodellen und prüft deren Vorhersagekraft über traditionelle linguistische Metriken hinaus. Teilprojekt 2 nutzt datengetriebene Gleichungsentdeckung, um den Hypothesenraum potenzieller aufmerksamkeitsbasierter Metriken zu erschließen und neue Prädiktoren für Verhaltens- und neuronale Korrelate des Textverständnisses zu identifizieren. Teilprojekt 3 erweitert diese Metriken zu personalisierten Verständlichkeitsprofilen, um das individuelle Verständnis wissenschaftlicher und medizinischer Texte zu verbessern. Vorläufige Ergebnisse zeigen, dass die aufmerksamkeitsbasierte Wort-Fazilitation einzigartige Varianz im Textverständnis erklärt, insbesondere bei langen und seltenen Wörtern, die traditionelle Metriken fälschlich als schwierig einstufen. Aufbauend darauf wird das Projekt reproduzierbare Pipelines entwickeln, um neuartige psycholinguistische Metriken in LLM-Architekturen zu entdecken und zu validieren, sowie Werkzeuge zur modellgestützten Personalisierung wissenschaftlicher und medizinischer Texte bereitstellen. Über diese Ergebnisse hinaus trägt das Projekt zur Vision bei, LLMs als wissenschaftliche Instrumente zur Erklärung und Verbesserung menschlichen Textverständnisses einzusetzen – und damit sowohl das methodische Instrumentarium der kognitiven Sprachwissenschaften als auch die gesellschaftliche Wirkung empirisch fundierter LLM-Metriken voranzubringen.
DFG-Verfahren
Schwerpunktprogramme
Internationaler Bezug
USA
Mitverantwortliche
Professorin Dr. Christiane Maaß; Dr. Roland Mühlenbernd
Kooperationspartner
Professor Lawrence David, Ph.D.
