Aktives Transferlernen mit neuronalen Netzen durch Mensch-Roboter-Interaktion (TRAIN)

• Antragsteller: Professor Dr.-Ing. Philipp Beckerle; Professor Dr. Elmar Rückert
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Arbeitswissenschaft, Ergonomie, Mensch-Maschine-Systeme
• Förderung: Förderung von 2019 bis 2025
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 430054590

• Erstellungsjahr: 2025

Zusammenfassung der Projektergebnisse

Dieses Projekt zielte darauf ab, die Fähigkeiten von autonomen Robotern in unterschiedlichen Umgebungen zu verbessern, wobei der Schwerpunkt auf der Verbesserung der Mensch-Roboter-Interaktion (MRI) lag. Angesichts der Komplexität der manuellen Programmierung verschiedener motorischer und manipulativer Fähigkeiten untersuchten wir das Lernen aus der Demonstration (LfD) als eine effektive Methode zur Ermöglichung selbstverbessernder Robotersysteme. LfD nutzt menschliches Fachwissen durch aufgezeichnete Sensordaten, um intuitiveres und adaptives autonomes Verhalten zu ermöglichen. Eine wichtige Komponente des Projekts war die Integration der Interaktiven Bayes'schen Optimierung (IBO), um menschliches Feedback in Aufgaben des Reinforcement Learning (RL) einzubeziehen, was die Optimierung von Robotertrajektorien verbesserte. Das Preference Expected Improvement (PEI) Framework innerhalb von IBO ermöglichte ein harmonisches Gleichgewicht zwischen der Führung der Nutzenden und algorithmischem Lernen, was zu einem effizienteren Erwerb von Fähigkeiten führte. Darüber hinaus haben wir das Problem des posterioren Zusammenbruchs in Variational Autoencodern (VAEs) durch die Einführung eines kontrastiven Regularisierungsansatzes (CR-VAE) angegangen, der die Qualität der latenten Repräsentationen in verschiedenen Datensätzen erheblich verbessert hat. Um die Nutzendenerfahrung (UX) und das Vertrauen in der MRI besser zu verstehen, untersuchten wir experimentell, wie Trainingsdaten das Vertrauen in RL-Agenten beeinflussen. Die Ergebnisse zeigen, dass mit besonderer menschlicher Expertise trainierte Agenten signifikant mehr Vertrauen erfuhren als solche mit schlechterer Trainingsbasis. Darüber hinaus haben wir ein nutzendenzentriertes adaptives Framework entwickelt, das sich auf die Bewertung des Vertrauens in Echtzeit durch physiologische Daten konzentriert. Zu den wichtigsten Innovationen gehörten ein Sensorhandschuh mit erweiterten Funktionen und eine Mixed-Reality-Schnittstelle zur intuitiven Visualisierung von Roboteraktionen. Die Ergebnisse zeigten, dass sich emotionale Zustände wie Valenz und Erregung direkt auf das Vertrauensniveau auswirken, was die Notwendigkeit einer adaptiven Autonomie zur Verbesserung der UX unterstreicht. Das Projekt zeigt das Potenzial der Integration von UX in Algorithmen des maschinellen Lernens, um zuverlässigere und intuitivere autonome Roboter zu schaffen. Durch die Verbesserung des Vertrauens der Nutzenden und der MRI-Qualität, haben wir ein Rahmenwerk für den effektiven Einsatz von Robotern in kollaborativen Umgebungen geschaffen, damit Roboter sicher und effizient bei alltäglichen Aufgaben helfen können. Die Ergebnisse unterstreichen die Relevanz menschlicher Führung bei der Optimierung von Roboterlernprozessen und der Verbesserung der Zuverlässigkeit dieser Systeme.

Projektbezogene Publikationen (Auswahl)

• Learning Hierarchical Acquisition Functions for Bayesian Optimization. 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 5490-5496. IEEE.
  Rottmann, Nils; Kunavar, Tjasa; Babic, Jan; Peters, Jan & Rueckert, Elmar
  
• Sample-Efficient Covariance Matrix Adaptation Evolutional Strategy via Simulated Rollouts in Neural Networks. International Conference on Advances in Signal Processing and Artificial Intelligence, 2020
  Xue, H.; Boettger, S.; Rottmann, N.; Pandya, H.; Bruder, R.; Neumann, G.; Schweikard, A. & Rueckert, E.
  
• A high-accuracy, low-budget Sensor Glove for Trajectory Model Learning. 2021 20th International Conference on Advanced Robotics (ICAR), 1109-1115. IEEE.
  Denz, Robin; Demirci, Rabia; Cansev, M. Ege; Bliek, Adna; Beckerle, Philipp; Rueckert, Elmar & Rottmann, Nils
  
• Interactive Human–Robot Skill Transfer: A Review of Learning Methods and User Experience. Advanced Intelligent Systems, 3(7).
  Cansev, Mehmet Ege; Xue, Honghu; Rottmann, Nils; Bliek, Adna; Miller, Luke E.; Rueckert, Elmar & Beckerle, Philipp
  
• Peripheral Neuroergonomics – An Elegant Way to Improve Human-Robot Interaction?. Frontiers in Neurorobotics, 15.
  Del Vecchio, Alessandro; Castellini, Claudio & Beckerle, Philipp
  
• Predictive Exoskeleton Control for Arm-Motion Augmentation Based on Probabilistic Movement Primitives Combined With a Flow Controller. IEEE Robotics and Automation Letters, 6(3), 4417-4424.
  Jamsek, Marko; Kunavar, Tjasa; Bobek, Urban; Rueckert, Elmar & Babic, Jan
  
• SKID RAW: Skill Discovery From Raw Trajectories. IEEE Robotics and Automation Letters, 6(3), 4696-4703.
  Tanneberg, Daniel; Ploeger, Kai; Rueckert, Elmar & Peters, Jan
  
• Can we infer the full-arm manipulation skills from tactile targets? Workshop at Humanoids, 2022
  Dave, V. & Rueckert, E.
  
• Predicting full-arm grasping motions from anticipated tactile responses. 2022 IEEE-RAS 21st International Conference on Humanoid Robots (Humanoids), 464-471. IEEE.
  Dave, Vedant & Rueckert, Elmar
  
• Using Deep Reinforcement Learning with Automatic Curriculum Learning for Mapless Navigation in Intralogistics. Applied Sciences, 12(6), 3153.
  Xue, Honghu; Hein, Benedikt; Bakr, Mohamed; Schildbach, Georg; Abel, Bengt & Rueckert, Elmar
  
• CR-VAE: Contrastive Regularization on Variational Autoencoders for Preventing Posterior Collapse. 2023 7th Asian Conference on Artificial Intelligence Technology (ACAIT), 427-437. IEEE.
  Lygerakis, Fotios & Rueckert, Elmar
  
• Advancing Interactive Robot Learning: A User Interface Leveraging Mixed Reality and Dual Quaternions. 2024 21st International Conference on Ubiquitous Robots (UR), 21-26. IEEE.
  Feith, Nikolaus & Rueckert, Elmar
  
• Integrating Human Expertise in Continuous Spaces: A Novel Interactive Bayesian Optimization Framework with Preference Expected Improvement. 2024 21st International Conference on Ubiquitous Robots (UR), 220-226. IEEE.
  Feith, Nikolaus & Rueckert, Elmar
  
• M2CURL: Sample-Efficient Multimodal Reinforcement Learning via Self-Supervised Representation Learning for Robotic Manipulation. 2024 21st International Conference on Ubiquitous Robots (UR), 490-497. IEEE.
  Lygerakis, Fotios; Dave, Vedant & Rueckert, Elmar
  
• Measuring, modeling and fostering embodiment of robotic prosthesis. Frontiers in Neuroergonomics, 5.
  Bliek, Adna; Andreas, Daniel; Beckerle, Philipp & Rohe, Tim
  
• Multimodal Visual-Tactile Representation Learning through Self-Supervised Contrastive Pre-Training. 2024 IEEE International Conference on Robotics and Automation (ICRA), 8013-8020. IEEE.
  Dave, Vedant; Lygerakis, Fotios & Rueckert, Elmar