SEASONAL - Intelligente Schätzung und Veränderung von Szenen im Freien und in der Natur durch maschinelles Lernen

• Antragsteller: Professor Dr. Wolfgang Broll
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 535507286

Das Ziel von SEASONAL ist die auf Deep Learning basierende Transformation von Außenbildern zwischen verschiedenen Jahreszeiten, Wetter- und anderen Umweltbedingungen. Transformationen von einer visuellen Domäne in eine andere, auch bekannt als Bild-zu-Bild-Übersetzung, bilden die Grundlage für verschiedene Bildverarbeitungsaufgaben wie Superresolution, Bildeinfärbung oder Inpainting. Neben qualitativen Verbesserungen kann die Bild-zu-Bild-Transformation auch dazu verwendet werden, den semantischen Inhalt eines Bildes zu verändern. Bestehende Ansätze berücksichtigen jedoch oft nur paarweise Beziehungen zwischen einzelnen Domänen und benötigen Bildpaare für den Trainingsprozess. Außerdem konzentriert sich die Bewertung in der Regel nur auf die Qualität der generierten Bilder und berücksichtigt nicht deren Plausibilität. In diesem Projekt generieren wir Bilder, die visuell ansprechend, aber auch hochgradig plausibel sind, während wir die Transformation zwischen mehreren Domänen durchführen. Dazu gehört nicht nur die Umwandlung zwischen statischen Domänen wie Jahreszeiten (z.B. Sommer zu Winter), sondern auch die individuelle Anpassung an verschiedenste Wetter- und Lichtverhältnisse. Eine Herausforderung in diesem Zusammenhang ist die Erstellung eines geeigneten und umfassenden Trainingsdatensatzes, der solche Bedingungen in verschiedenen Outdoor-Szenarien adäquat abdeckt. Darüber hinaus entwerfen wir eine neuronale Netzwerkarchitektur, die eine bereichsübergreifende Übersetzung von Bildern in Bezug auf verschiedene Umweltmerkmale ermöglicht. Darüber hinaus untersuchen wir Methoden, um die Qualität und die Plausibilität der generierten Bilder zu erhöhen. Die Ergebnisse werden dann mit einer Kombination aus objektiven Metriken (z.B. SSIM, FID) und Nutzerstudien bewertet. Damit leistet dieses Projekt einen unmittelbaren Beitrag zum Forschungsgebiet der generativen Modelle, insbesondere im Hinblick auf die Bild-zu-Bild-Übersetzung, und stellt langfristig einen zentralen Baustein für zukünftige Anwendungen im Bereich der automatischen inhaltsbasierten Bildmanipulation und -verbesserung dar.

• DFG-Verfahren: Sachbeihilfen