PIPE: Probabilistische Modelle von Instruktionen, Perzeption und Erfahrung - Repräsentation, Lernen und Schlussfolgern

• Antragsteller: Professor Michael Beetz, Ph.D.
• Fachliche Zuordnung: Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2017 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 322037152

• Erstellungsjahr: 2023

Zusammenfassung der Projektergebnisse

In PIPE wurden Bayes'sche Wahrscheinlichkeitsmodelle für die kompakte Darstellung sowie das effiziente Lernen und Schlussfolgern von (D) Aufgabeninterpretation, (P) Perzeption und (E) Erfahrung für mobile Roboter entworfen, realisiert und untersucht. Ein Rahmen für gemeinsames probabilistisches Lernen und Schlussfolgern wurde entwickelt, genannt joint probability trees (JPT), der das Lernen und Schlussfolgern über gemeinsame Wahrscheinlichkeitsverteilungen für praktische Anwendungen handhabbar macht. Es wurden probabilistische, hybride Aktionsmodelle entwickelt, die in Form von Verbundwahrscheinlichkeitsverteilungen über Glaubenszustände und Roboteraktionen sowie deren Parametrisierungen und Wahrnehmungen representiert sind, und es erlauben, über die Ausführung von Aktionen Schlussfolgerungen zu ziehen, die die gewünschten Effekte erzielen, und gliechzeitig unerwünschte Effekte vorherzusehen. Die Anwendung und Stärken des PIPE-Ansatzes wurden erfolgreich in Meilenstein-Meetings des kollaborativen Forschungszentrums EASE gezeigt. Hier wurde der PIPE-Rahmen erfolgreich für das Lernen aus Instruktionen, Perzeption und Erfahrungen angewendet, um Bewegungsparameter einer Greif-und-Platzier-Aktion zu erlernen und spezialisierte Planvarianten zu erlernen. Dadurch konnte die Ausführung dieser Aktionen hinsichtlich Effizienz und Zuverlässigkeit verbessert werden. Das PIPE Machine-Learning wurde Framework als Open-Source-Projekt veröffentlicht, das aktiv von der Community genutzt und weiterentwickelt wird.

Projektbezogene Publikationen (Auswahl)

• Self-Specialization of General Robot Plans Based on Experience. IEEE Robotics and Automation Letters, 4(4), 3766-3773.
  Koralewski, Sebastian; Kazhoyan, Gayane & Beetz, Michael
  
• Learning Motion Parameterizations of Mobile Pick and Place Actions from Observing Humans in Virtual Environments. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 9736-9743. IEEE.
  Kazhoyan, Gayane; Hawkin, Alina; Koralewski, Sebastian; Haidu, Andrei & Beetz, Michael
  
• Joint Probability Trees
  Nyga, Daniel