Bildsynthese als Methode des kunsthistorischen Erkenntnisgewinns

• Antragsteller: Professor Dr. Peter Bell; Professor Dr. Björn Ommer
• Fachliche Zuordnung: Kunstgeschichte ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2019 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 421703927

Ein Vorteil des digitalen Bildes ist das Potential, viele Werke virtuell zusammenzubringen, einfach gruppieren zu können, beliebig zu rearrangieren. Auf diese Weise in Verbindung und ständiger Neugruppierung stehende digitale Bilder gleichen Warburgs Mnemosyne Atlas. Allerdings basieren die Verbindungen, Ähnlichkeiten und Unterschiede der Kunstwerke auf potentiell sehr komplexen Konzepten (Stil, Ikonographie etc.). Gerade wenn Computer Zusammenhänge zwischen Bildern ausgeben (z.B. Suchergebnisse) ist ein Verständnis darüber, wie diese Ergebnisse entstehen wissenschaftlich zwingend. Entsprechend hat sich die Computer Vision jüngst sehr für eine Form des Deep Learning interessiert, das quasi selbstreflexiv ist. Das Vorhaben wird mit neuronalen Netzen arbeiten, die neue Bilder erstellen und dadurch deren Bildkonzepte erklären. Diese synthetisch generierten digitalen (SGD) Bilder etablieren eine neue Bedeutung in der Erschließung und Visualisierung von Bildkonzepten - sie sind ein Destillat. Daher ist eine Herausforderung des Projekts, den Blick der Kunstgeschichte auf digitale Bilder zu verändern, sie stärker zu einem Werkzeug des Erkenntnisgewinns zu machen. Statt nur ein Teil der Recherche zu sein, möchten wir das digitale Bild in Form der SGD Bilder zu einem bedeutenden Instrument des Interpretationsprozesses machen. Es geht um die genuin kunsthistorische und hermeneutische Frage der Interpretierbarkeit.Wir werden einen generative deep learning Ansatz verfolgen, der uns erlaubt SGD Bilder zu erstellen, mit denen die Repräsentationen verschiedener Algorithmen zu Bildsuche und -verstehen visualisiert werden können. Wir trennen in den Bildern vermischte Konzepte, so dass unser Verfahren nicht nur Konzepte wie Stil und verschiedene Posen der Bildfiguren visualisieren kann. Es ermöglicht dem User auch, die verschiedenen Ergebnisse zu bewerten, da er sieht, was der Algorithmus erfasst hat. Im Gegensatz zu bestehenden Netzwerkinvertierungen ohne die Entflechtung der Konzepte, kann der Nutzer nun die verschiedenen Konzepte individuell verändern und so erkennen, inwieweit sie korrekt wiedergegeben werden und richtig aufgespalten wurden. In einer Fallstudie können so SGD Bilder aus einer Sammlung mit antiker Kunst als künstliche Renaissancen erzeugt werden und so auf experimenteller, rein visueller Ebene Antikenrezeption simuliert werden, um daran abzulesen, inwieweit das Verfahren dem kunsthistorischen Erkenntnisgewinn dient.Schließlich ergibt sich daraus ein interaktiver Ansatz zum Analysieren großer Bilddatensätze. Computer und Kunsthistoriker können so Bildsammlungen dialogisch erschließen, Fehler mit einem Blick erkannt werden. Der Computer gibt die Destillate der Konzepte vor und der Kunsthistoriker interpretiert und koordiniert die weitere Analyse, bei der ihm weitere Repräsentationen erzeugt werden. So gesehen nutzen wir die analytischen Kompetenzen von Computer und Kunsthistoriker und verschränken quantitative und qualitative Methoden.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2172: Das digitale Bild