Verständnis und Generierung dynamischer 3D Welten für sichere KI-Systeme

• Antragsteller: Professor Dr. Carsten Rother
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 442613527

In naher Zukunft, werden uns unzählige KI-basierte Systeme in alltäglichen Situationen begleiten. Oft handelt es sich dabei um dynamische Umgebungen, in welchen eine sichere Koexistenz von Mensch und Maschine gewährleistet werden muss. Dabei stellt sich die essenzielle Frage: Operieren KI-basierte Systeme zuverlässig und sicher, selbst in seltenen und kritischen Situationen? Dieses Projekt kann einen entscheidenden Beitrag zur Beantwortung dieser Frage leisten. Der konkrete Plan sieht die Implementierung eines Systems zur Generierung seltener und kritischer Szenarien vor. Um dieses Ziel zu erreichen, sind zwei Projektphasen nötig:a) Entwurf und maschinelles Lernen einer umfassenden Repräsentation dynamischer 3D-Welten auf Basis von Bild- und Videoaufnahmen,b) die intelligente Rekombination einzelner Aspekte dieses Weltmodells zur Generierung seltener und kritischer Szenarien.Unser Weltmodell umfasst physikalische (Erscheinung, Geometrie und Dynamik) und semantische Aspekte (Objektklassen, Material). Um diese Herausforderung zu stemmen konzentriert sich unser Projekt auf die beispielhafte Anwendung des "Semantischen Verständnis der Interaktion zwischen autonomen Fahrsystemen und Fußgängern".Das Hauptziel des Projektes ist die photorealistische Generierung seltener und kritischer Szenarien in dynamischen Umgebungen. Dabei stellt die Weiterentwicklung umfassender 3D-Weltrepräsentationen (Erscheinung, Geometrie, Dynamik) sowie semantischer Repräsentationen die größte technologische Herausforderung dar. Der technische Beitrag des Projektes besteht in der Implementierung einer Softwareplattform um Wissenschaftlern zukünftig die Generierung sicherheitskritischer Szenarien für beliebige Anwendungen zu ermöglichen.Die Kollaboration umfasst drei Forschungsgruppen mit großen Leistungen im Bezug auf die komplementären Ziele des Projektes:a) Erscheinungsmodellierung (Japan)b) dynamische 3D-Rekonstruktion (Frankreich)c) Datengenerierung und Unsicherheitsanalyse (Deutschland).Um sich der Herausforderung der Generierung photorealistischer dynamischer Szenen zu stellen, ist eine enge Kooperation dieser Partner zwingend notwendig. Damit stellt dieses Projekt eine einmalige Gelegenheit zur Bildung eines starken internationalen Netzwerkes zum Austausch von Wissenschaftlern und deren Expertise dar.Wir glauben, dass das Ergebnis dieses Projektes sowie das internationale Netzwerk zur Weltspitze der KI-Forschung zählen wird. In 10 Jahren erwarten wir eine rapide Verbreitung hoch sicherheitskritischer intelligenter Systeme (autonomes Fahren, Robotik, etc.). Die Fähigkeit zur Generierung seltener und kritischer Szenarien wird essenziell zur Verbesserung der Sicherheit dieser Systeme beitragen.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Frankreich, Japan
• Partnerorganisation: Agence Nationale de la Recherche / The French National Research Agency; Japan Science and Technology Agency; JST
• Mitverantwortlich: Professor Dr. Ullrich Köthe
• Kooperationspartner: Professor Dr. Ko Nishino; Dr. David Picard