Project Details
Projekt
SYNTH: Evaluation von Transformermodellen für synthetische Replikationen, nomologische Netze und Peer Reviews
Antragsteller
Dr. Björn Hommel; Dr. Ruben Lennartz
Subject Area
Persönlichkeitspsychologie, Klinische und Medizinische Psychologie, Methoden
Term
since 2024
Project identifier
Deutsche Forschungsgemeinschaft (DFG) - Project number 546323839
Die wissenschaftliche Reformbewegung hat Methoden identifiziert und umgesetzt, um die Robustheit, Zuverlässigkeit und Replizierbarkeit von Forschung zu verbessern. Diese Methoden sind jedoch arbeitsintensiv, und ihre Anwendung wird nicht durchgängig belohnt. Forscher werden beispielsweise ermutigt, ihre Projekte zu präregistrieren, d.h. Design, Hypothesen und Analyseplan vor der Datenerhebung festzulegen. Peer Reviewer sollen überprüfen, ob Abweichungen von diesen Protokollen transparent berichtet werden. Leider lesen Reviewer Präregistrierungen aus Zeitgründen nur selten, wenn sie ein Manuskript beurteilen. Dies gefährdet deren erhofften Nutzen. Jüngste Fortschritte im Bereich großer Sprachmodelle (Large Language Models, LLMs) haben das Potenzial, die Kosten für Aufgaben, die von der wissenschaftlichen Gemeinschaft vernachlässigt wurden, zu reduzieren. SYNTH zielt darauf ab, die Qualität von Forschung zu erhöhen, indem Werkzeuge entwickelt werden, die Forscher in drei Kernbereichen unterstützen: (1) Synthetische Replikationen nutzen ein spezialisiertes LLM, um die Antwortmuster von Umfrageteilnehmern bei Fragebögen (z.B. Persönlichkeitstests) vorherzusagen. Mit diesen synthetischen Daten können Reviewer potenzielle Replikationsprobleme bei neu entwickelten Fragebögen erkennen, bevor empirische Daten gesammelt werden. Im Rahmen des Programms wird eine große Auswahl bestehender Instrumente synthetisch repliziert und empirisch neu untersucht, falls das LLM mögliche Probleme identifiziert. (2) Das Synthetische Nomologische Netz ist eine LLM-basierte semantische Suchmaschine, die Tausende von Instrumenten in den Verhaltenswissenschaften kartiert. Da viele veröffentlichte Instrumente dasselbe Konzept messen, kann die Suchmaschine genutzt werden, um potenzielle Redundanzen zu identifizieren. Ebenso dient das Synthetische Nomologische Netz als Werkzeug für Forscher, indem es ihnen proaktiv ermöglicht, die Existenz eines vorhandenen Maßes im Feld zu überprüfen und so unnötige Duplikation zu vermeiden. (3) Der Synthetische Peer ist ein speziell geschultes LLM, das Präregistrierungen mit Manuskripten abgleicht und Abweichungen vom ursprünglichen Protokoll hervorhebt, um Reviewer bei ihrer Arbeit zu unterstützen. In Zusammenarbeit mit der Zeitschrift Psychological Science führt SYNTH eine Feldstudie durch, um die Wirksamkeit des Synthetischen Peers zu bewerten. Neben der Entwicklung und Evaluation dieser neuartigen Anwendungen für LLMs in der Forschung wird SYNTH auch zeigen, wie die Forschungsgemeinschaft die Risiken von LLM-Nutzung abwägen und auf eine solide ethische Grundlage stellen kann. Das Programm betont Einvernehmlichkeit, Privatsphäre, Fairness und Transparenz und verwendet LLMs nur zur Priorisierung, Entscheidungen werden stets von Menschen getroffen (oft als ethische künstliche Intelligenz bezeichnet). In SYNTH überwachen wir sorgfältig Fairness, mögliche Biases und deren Auswirkungen auf die Wissenschaft als Ganzes durch unser Vorhaben.
DFG Programme
Schwerpunktprogramme
International Connection
Australien, Schweiz
Partnerorganisation
Schweizerischer Nationalfonds (SNF)
Kooperationspartnerinnen / Kooperationspartner
Professor Dr. Malte Elson; Dr. Juri Opitz; Professorin Dr. Simine Vazire
