Grosse Sprachmodelle als Lösungsansatz für die Generalisierbarkeitskrise

• Antragsteller: Dr. Dirk Wulff
• Fachliche Zuordnung: Allgemeine, Kognitive und Mathematische Psychologie
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 546419617

Das Gebiet der Psychologie kämpft mit einer Krise der Generalisierbarkeit, bei der empirische Erkenntnisse spezifisch für einzelne Aufgabe gelten und sich nicht über Kontexte hinweg replizieren lassen. Traditionelle Lösungen, die eine erhöhte methodologische Strenge betonen, adressieren per se nicht die Herausforderung, die eine grösser werdende Menge von Konstrukten und Messungen zu organisieren, deren Beziehungen zueinander weitgehend unbekannt sind. Eine Neubewertung der Beziehung zwischen Konstrukten und Messungen ist nötig, zusammen mit einem strukturierten Ansatz, der die Umstände antizipiert unter denen eine Generalisierung über Messungen oder Kontexte erfolgreich ist oder nicht. Das vorgelegte Forschungsprogramm legt einen sprachbasierten Ansatz vor, der verspricht, das nomologische Netzwerk aus psychologische Konstrukte und zugehörige Messungen zu messen. Sprache, als Basis für theoretische Formulierungen und Methoden der Datensammlung (z. B. Selbstberichte, experimentelle Instruktionen), kann neuerdings mit Hilfe fortgeschrittener Sprachmodelle genutzt werden, um konzeptuelle und empirische Beziehungen herzustellen. Speziell schlägt das Programm vor, mittels modernen Sprachmodellen die Beziehungen zwischen Konstrukten und zugehörigen Messungen umfassende zu untersuchen. Dieser Ansatz verspricht, die konzeptuelle Überschneidung zwischen theoretischen Konstrukten und deren Operationalisierungen zu klären, sowie die konvergente und divergente Validität bestehender und neuer psychologischer Instrumente zu prognostizieren. Das erwartete Ergebnis ist ein geklärtes nomologisches Netzwerk von Konstrukten und zugehörigen Messungen. Letztendlich ist es das Ziel dieser Forschung das Problem der begrenzten Generalisierbarkeit in der Psychologie anzugehen, um unser Verständnis der Bedingungen zu verbessern, unter denen empirische Phänomene über Messungen und Kontexte hinweg replizieren.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2317: META-REP: Ein meta-wissenschaftliches Programm zur Analyse und Optimierung von Replizierbarkeit in den Verhaltens-, Sozial- und Kognitionswissenschaften
• Kooperationspartner: Dr. Marcel Binz