DEEP-HAND: deep sensing + deep learning für muskelbasierte Steuerung der oberen Extremität

• Antragsteller: Professor Dr. Rainer Brück; Professor Claudio Castellini, Ph.D.; Dr. Robert Haschke; Professor Dr. Frank Kirchner
• Fachliche Zuordnung: Automatisierungstechnik, Mechatronik, Regelungssysteme, Intelligente Technische Systeme, Robotik ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing ; Medizinische Physik, Biomedizinische Technik
• Förderung: Förderung von 2015 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 272314643

Dieser Projektantrag zielt darauf ab, unsere Arbeit und Ergebnisse von Tact-Hand zu vertiefen und erweitern. In Tact-Hand haben wir taktile Sensoren und neue Methoden des maschinellen Lernens eingeführt, um den Stand der Technik bei der Steuerung prothetischen Geräten im Vergleich zur Oberflächenelektromyographie (sEMG) zu verbessern. Taktilsensoren wurden auf zweierlei Weise eingesetzt: um hochdimensionale Eingabedaten von Muskeldeformationen aufnehmen zu können, mit Zweck Erkennung menschlicher Absichten; und um eine prothetische Hand zu sensorisieren, mit Zweck teilautonome Griffkontrolle.Wir haben jedoch auch zwei grundlegende Hürden gefunden: (a) die taktile Erfassung ist wie bei sEMG auf die Oberflächenaktivität beschränkt und sollte mit Sensoren verstärkt werden, die die tiefe Muskelaktivität erfassen; und (b) die Interaktion zwischen Mensch und Maschine ist ebenso wichtig wie die maschinellen Lernmethoden und muss weiter erforscht und verstärkt werden.Zu diesem Zweck schlagen wir hiermit vor, Tact-Hand voranzutreiben, indem (i) neuartige Sensoren entwickelt werden, die die tiefe Muskelaktivität anerkennen können, (ii) die psychologische Untersuchung der Mensch-Maschine-Interaktion bei der Myokontrolle von Armen und Händen erweitert wird; und (iii) die Anpassung dieser Untersuchung an fortgeschrittene maschinelle Lernmethoden, die hauptsächlich auf Deep-Learning basieren. Wie in Tact-Hand wird der technologische Fortschritt unter realen Bedingungen sowohl für Amputierte als auch für Menschen mit Behinderungen kontinuierlich bewertet. Dabei werden die im vorherigen Projekt schon entwickelte experimentellen Protokolle und Setups verwendet, als auch Neue entwickelt.

• DFG-Verfahren: Sachbeihilfen
• Mitverantwortliche: Dr.-Ing. Peter Kampmann; Dr. Risto Kõiva; Professor Dr. Helge Ritter; Dr. Maximo A. Roa; Dr. Michael Wahl