Ein Ressourceneffizienter Sprachübergreifender Ansatz zur Bewertung Figurativer Bedeutung in LLMs

• Antragstellerin: Dr. Maria Berger
• Fachliche Zuordnung: Angewandte Sprachwissenschaften, Computerlinguistik ; Datenmanagement, datenintensive Systeme, Informatik-Methoden in der Wirtschaftsinformatik
• Förderung: Förderung seit 2026
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 579372772

LLMs finden gute Zuordnungen für Wortbedeutungen, die durch große Datenmengen repräsentiert sind. Allerdings sind sie nicht in der Lage, bildliche Sprache gut abzubilden. Es ist auch unklar, wie zukünftige Architekturen mit bildlicher Bedeutung umgehen werden. Tatsächlich wird es immer einen Mangel an Daten geben, die übertragene Bedeutung repräsentieren. Schauen wir uns einige Beispiele an. Aktuelle Modelle können mit bekannten Sprichwörtern sehr gut umgehen, z. B.: „birds of a feather flock together” (EN), und finden die richtige Entsprechung in der Zielsprache: „gleich und gleich gesellt sich gern” (DE). Mit unbekannten Redewendungen haben sie jedoch Schwierigkeiten: „the biter is sometimes bitten” (EN) („wer anderen eine Grube gräbt, fällt selbst hinein” ), und übersetzen sie wörtlich. Wir wissen auch nicht, ob LLMs figurativer Bedeutungen in weniger untersuchten Sprachen richtig interpretieren können, da entsprechende Studien fehlen. Um diese Probleme anzugehen, führen wir eine gründliche Bewertung anhand paralleler mehrsprachiger Datensätze bildlicher Sprache durch. Wir haben drei Ziele:1. Wir führen eine gründliche Bewertung mehrsprachiger LLMs durch, bezüglich ihrer Fähigkeit zur Erfassung figurativer Bedeutungen. Wir verwenden vorhandene Parallelkorpora, um LLMs in Downstream-Tasks wie maschineller Übersetzung bezüglich ihres Verständnisses figurative Sprache zu bewerten. Verfügbaren Korpora sind für einige Aufgaben reichlich vorhanden, für andere jedoch kaum. Wir verwenden Strategien der wörtlichen Paraphrasierung und Backtranslation, um vorhandene Ressourcen anzureichern. Es ist wichtig zu bewerten, wie sich LLMs in Abhängigkeit von den verfügbaren Daten verhalten, um den aktuellen Stand der Fähigkeit von LLMs zur Bewältigung dieser Probleme zu verstehen.2. Wir untersuchen die internen Belegung von LLMs, um zu verstehen, wie die Zielsprache das figurative Encoding im Model beeinflusst. Dazu prüfen wir zunächst, ob ein Sprachmodell die beabsichtigte Aufgabe erfüllt und wie gut es dies tut. Zu diesem Zweck wenden wir verschiedene Interpretationstechniken an, z.B., Probing mit Kontrolltasks oder Layer-Freezing und andere Arten der Vektoranalyse. Layer-Freezing ist ein komplementärer Ansatz, bei dem Neuronen entsprechend bestimmter Muster auf Basis der Eingabe aktiviert werden und die Aktivierungen in einen kleineren Parameterraum projiziert werden. 3. Wir wollen sprachübergreifende Grenzen von LLMs verbessern. Daher definieren wir zwei Schwierigkeitsgrade: i) sprachübergreifende Metaphererkennung als Untergrenze, ii) Verständnis sprachübergreifender Sprichwörtern und idiomatischen Ausdrücken als Obergrenze, da es dazu kaum Parallelkorpora gibt, weil Sprachen verschiedener Kulturen Ausdrücke, z.B. über Werte, je nach Tradition unterschiedlich lexikalisieren. Wir bieten Testsuiten für beide Schwierigkeitsgrade an. Da unsere Ansätze gemeinsames Ressourcenwissen nutzen, sind die Datenverarbeitung und das Modelltraining sehr effizient.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2556: Robuste Beurteilung und sichere Anwendung von Sprachmodellen: Grundlagen für ein neues Feld zwischen Sprachwissenschaft & -technologie (LaSTing)