Project Details
Projekt Print View

Episodic Semantic Scene Analysis

Subject Area Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
Term from 2017 to 2022
Project identifier Deutsche Forschungsgemeinschaft (DFG) - Project number 381855581
 
Final Report Year 2022

Final Report Abstract

In diesem Projekt untersuchten wir die Darstellung und das Verständnis von alltäglichen Szenen und deren Veränderung im Laufe der Zeit. Szenegraphen stellen eine Szene bestehend aus Instanzen von Objekten als Knoten und ihre Beziehungen zueinander als gerichtete Kanten dar. Um die Veränderung von Szenengraphen im Laufe der Zeit zu untersuchen, stellen wir einen neuen 3D-Szenengraphendatensatz (3DSSG) von Innenraumen mit annotierten Beziehungen zwischen den Objekten vor, der über verschiedene Zeiträume wiederholte Scans der Szenen enthält. Abgeleitet davon formulieren wir die Aufgabe der domänenagnostische Szenenabfrage in sich verändernden Umgebungen. Durch das Zuordnen einzelner Teile aus zeitlich verschiedenen Aufnahmen einer Szene zueinander, können wir Veränderungen zwischen den zwei Aufnahmen derselben Szene erkennen; dies kann Maschinen dabei helfen aus der Beobachtung von menschlichen Interaktionen mit der Szene zu lernen. Wir schlagen eine Methode basierend auf neuronalen Graphennetzen zur Erstellung eines Szenengraphen aus einer segmentierten Punktwolke vor, bei der wir gleichzeitig die semantische Klasse der Objektknoten bestimmen sowie die Beziehungen zwischen den Entitäten in der Szene ableiten um die Kanten des Graphen zu bilden. Darüber hinaus untersuchen wir das Potenzial generativer Methoden zum Erlernen plausibler Konstellationen von Objekten in einer Szene, um aussagekräftige Vorhersagen über das gemeinsame Auftreten von Objekten und die Beziehungen zwischen ihnen zu erhalten. Daher haben wir Methoden entwickelt, um 3D-Szenen und Bilder aus einer erweiterten Szenengraphendarstellung mit kodierten neuronalen Merkmalen für Ob jektform und -erscheinung zu erzeugen und zu manipulieren. Dies ermöglicht es uns, eine Szene auf abstrakter Ebene virtuell zu verändern und uns das Ergebnis realistisch vorzustellen.

Publications

 
 

Additional Information

Textvergrößerung und Kontrastanpassung