Semantisches und lokales Computersehen mit Farb-/Tiefenkameras in der Robotik (SeLaVi)

• Antragsteller: Professor Dr. Dominik Henrich
• Fachliche Zuordnung: Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik
• Förderung: Förderung von 2019 bis 2023
• Webseite: Zur Homepage
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 405548722

Für moderne Roboter ist die Erkennung von Objekten in ihrer Umgebung eine zentrale Fähigkeit, welche erst nützliche und flexible Handlungen ermöglicht. Dazu werden zumeist ein oder mehrere Kamerabilder der Szene ausgewertet und eine interne Repräsentation der Umwelt für den Roboter aufgebaut. Die bildbasierte Objekterkennung ist aber mit einigen Schwierigkeiten konfrontiert: Einerseits werden geometrisch einfache und schwach texturierte Gegenstände, wie sie in vielen Anwendungen auftreten, kaum erkannt. Andererseits werden (teil-)verdeckte Objekte in der Szene schlechter oder gar nicht wahrgenommen. Darüber hinaus beschreibt die sensorisch erfasste Information zumeist nur Geometrie und Lage der einzelnen Objekte, nicht aber deren semantische Funktion oder Beziehungen untereinander (z. B. "A liegt auf B"). Dagegen sollte die Perzeption als Fernziel die Umgebung so "verstehen", dass die verschiedenen Gegenstände einer komplexen Szene mittels Roboter sinnvoll manipuliert werden können. Außerdem sollten wenige, lokale Sichten auf die Szene ausreichen, um eine möglichst vollständige, globale Umweltrepräsentation erzeugen zu können.In dem beantragten Forschungsprojekt "SeLaVi" werden neue Konzepte zum bildbasierten Verstehen einer Szene entwickelt und untersucht. Als neuer und einzigartiger Grundansatz dienen geometrische Modelle, welche die Objekte durch wenige Oberflächenstücke darstellen (Boundary Representations, BReps) und aus einem oder mehreren Tiefenbildern erzeugt werden. Dadurch ist eine deutlich höhere Speicher- und Recheneffizienz der Verfahren gewährleistet, als mit den sonst üblichen Punktwolken oder Dreiecksnetzen möglich ist. Basierend auf dem BRep und auf zusätzlicher Farbinformation aus der Szene werden die darin enthaltenen Objekte einer Objektdatenbank wiedererkannt. Die Erkennung der statischen Objekte soll mit wenigen lokalen Sichten auf die Szene arbeiten und möglichst robust gegenüber sonstigen bewegten Objekten (z. B. Menschen) sein. Das so erstellte Weltmodell wird dann um semantische Relationen zwischen den Objekten erweitert, um deren Manipulation durch einen Roboterarm zu ermöglichen. Ergänzend wird der semi-automatische Aufbau der Objektdatenbank durch den Benutzer betrachtet. Die potentiellen Anwendungsgebiete reichen von autonomen Servicerobotern, über das Programmieren-durch-Vormachen und die Mensch/Roboter-Kooperation, bis hin zur industriellen Automatisierung (z. B. Griff-in-die-Kiste).

• DFG-Verfahren: Sachbeihilfen