Planung und Durchführung robotischer Handlungen basierend auf simulierten Bildfolgen durch künstliche generative neuronale Netze

• Antragsteller: Professor Dr. Florentin Wörgötter
• Fachliche Zuordnung: Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2019 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 417069796

• Erstellungsjahr: 2023

Zusammenfassung der Projektergebnisse

Die zentrale Idee hinter diesem Projekt war es, zu verstehen, inwieweit es möglich ist, zu nicht-traditionellen Planungsmethoden zu gelangen, indem man neuronale Netze anstelle der üblicherweise verwendeten symbolischen Planer einsetzt, und zu versuchen, die zugrunde liegenden Prozesse (besser) zu verstehen, indem man die Algorithmen und die zugrunde liegenden Netze analysiert. 1. Im Mittelpunkt dieses Projekts stand die Untersuchung der Frage, ob es möglich ist, eine formale Planung (z.B. für Robotikanwendungen durch Planung einer Handlungssequenz) unter Verwendung von "mentalen Bildern" durchzuführen, wobei anstelle von symbolischen Plänen eine Folge von Bildern zur Darstellung eines bildlichen Plans erstellt wird. Dabei wird von der realen Szene ausgegangen und - durch einen generativen Prozess - erzeugt das System dann ein neues Bild, das das Ergebnis einer Aktion zeigt, ohne diese auszuführen; und so weiter, bis der Plan abgeschlossen ist (oder scheitert). Hier haben wir auch gezeigt, wie man die diesem System innewohnenden Prozesse mit "menschlichen Begriffen" "verstehen" kann, indem man einen bildlichen (mentalen) Plan in einen für Menschen lesbaren symbolischen Plan zurückübersetzt. 2. Darüber hinaus haben wir die Frage untersucht, wie man die Planung, hier eines optimalen Pfades, zusammen mit (neuronalem) Lernen mit Hilfe eines neuartigen künstlichen neuronalen Netzes durchführen kann. Dies ist ein neuartiger Algorithmus mit den gleichen Recheneigenschaften und der gleichen algorithmischen Komplexität wie der klassische Bellman-Ford- Algorithmus, aber jetzt können wir ihm "on the fly" Lernen hinzufügen, was bisher noch nicht erreicht wurde. Hier haben wir auch analytische Einblicke in die Funktionsweise dieses neuen Algorithmus gegeben. 3. Neben diesen beiden Kernfragen gab es eine weitere Untersuchung, in der wir uns mit der Leistung neuronaler Netze befassten und der Frage nachgingen, wie man ein besseres Verständnis für die Funktionsweise komplexer neuronaler Netze gewinnen kann. Dieser Teil der Untersuchung hatte sich im Laufe der Projektentwicklung herauskristallisiert und war ursprünglich im Förderantrag nicht vorgesehen. In Verbindung mit der oben genannten Frage nach „understanding“ war ein Teil der hier verfolgten Forschung auf das Problem ausgerichtet, die Funktionen der Algorithmen besser zu verstehen. Hier wurde untersucht, wie Netzwerke und ihre Schichten zu ihren Entscheidungen geführt werden, und zwar anhand verschiedener quantitativer Maße.

Projektbezogene Publikationen (Auswahl)

• Interpreting the decisions of CNNs via influence functions. Frontiers in Computational Neuroscience, 17.
  Aamir, Aisha; Tamosiunaite, Minija & Wörgötter, Florentin
  
• Simulated mental imagery for robotic task planning. Frontiers in Neurorobotics, 17.
  Li, Shijia; Kulvicius, Tomas; Tamosiunaite, Minija & Wörgötter, Florentin
  
• Combining Optimal Path Search With Task-Dependent Learning in a Neural Network. IEEE Transactions on Neural Networks and Learning Systems, 36(1), 498-509.
  Kulvicius, Tomas; Tamosiunaite, Minija & Wörgötter, Florentin