Eine systematische Evaluation der psychologischen Validität von computer-vision-Modellen als visuelle Konzeptrepräsentationen

• Antragsteller: Dr. Fritz Günther
• Fachliche Zuordnung: Allgemeine, Kognitive und Mathematische Psychologie
• Förderung: Förderung von 2020 bis 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 452322374

Menschen haben eine außerordentliche Fähigkeit, Informationen aus der Struktur ihrer Umgebung zu ziehen, und sich daraus ein konzeptuelles System zu konstruieren, mit dessen Hilfe sie die sie umgebende Welt navigieren. Die letzten zwei Jahrzehnte haben den außerordentlichen Erfolg von Computermodellen gesehen, vor allem im Bereich Sprache, die diese menschliche Fähigkeit zur Mustererkennung nachahmen. Dies wurde möglich durch die einfache Verfügbarkeit großer Mengen an Sprachdaten, und weil sehr einfache Algorithmen (als distributionelle Semantik bezeichnet) sich als erstaunlich erfolgreich erwiesen haben, konzeptuelle Information in Form von Wortbedeutungen (und deren Ähnlichkeiten) aus der Verteilung von Wörtern in diesen Texten abzuleiten. Allerdings basieren Konzepte nicht nur auf sprachlicher, sondern auch auf perzeptueller Erfahrung. Zum Beispiel würden wir sagen, dass eine Pizza ähnlicher zu einer Münze ist als zu einer Banknote, obwohl die Wortbedeutungen gleich unähnlich sind. Neue Entwicklungen im Bereich computer vision erlauben es uns nun, visuelle Repräsentationen aus großen Bilderdatenbanken abzuleiten, was es wiederum ermöglicht, visuelle Ähnlichkeiten zu berechnen, und zwar sowohl zwischen individuellen Bildern als auch auf Prototypenebene (indem man die Information aus den einzelnen Bildern einer Kategorie aggregiert). Erste Studien, in denen wir diese Modelle verwendet haben, haben dabei vielversprechende Ergebnisse geliefert. Allerdings steht, im Gegensatz zur weitreichenden Forschung zu Sprachmodellen, eine systematische Evaluation dieser visuellen Modelle noch aus. Das hier vorgeschlagene Projekt strebt diese Evaluation an, um diese Modelle als verlässliche und produktive Ressource für psychologische (und andere) Studien zu etablieren. Zu diesem Zweck planen wir Studien (a) zur intuitiven Plausibilität der modellbasierten visuellen Ähnlichkeitsmaße, (b) zur Ähnlichkeit zwischen Exemplaren (einzelnen Bildern) und Prototypen, (c) zur Rolle visueller Ähnlichkeit in der Verarbeitung unter Zeitdruck, und (d) dazu, ob diese Modelle visuelle Ähnlichkeit als rein perzeptuelles Phänomen ohne den Einfluss durch Konzeptwissen messen können. Alle Studien werden großflächig angelegt, um eine verlässliche Datengrundlage zu schaffen, und um unsere Datensätze als hochwertigen Goldstandard für zukünftige Forschung bereitzustellen. Zusätzlich soll im Rahmen des Projektes eine benutzerfreundliche Website erstellt werden, die den einfachen Zugriff auf diese visuellen Modelle auch ohne technisches Vorwissen ermöglicht (was sich für die Sprachmodelle bereits als äußerst wertvoll erwiesen hat).

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Italien
• Kooperationspartner: Professor Dr. Marco Marelli; Dr. Marco Alessandro Petilli