Automatic recognition of audible and silent speech based on electromyographic signals captured by electrode arrays

• Applicant: Professorin Dr.-Ing. Tanja Schultz
• Subject Area: Human Factors, Ergonomics, Human-Machine Systems ; Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2012 to 2017
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 224744808

Smartphones und andere digitale Geräte haben unsere Art zu kommunizieren und zu interagieren dramatisch verändert. Während wir ständig und überall mit der Welt verbunden sind, haben wir uns auch daran gewöhnt, automatische sprachgesteuerte Auskunftsdienste zu verwenden. Daher hat sich die automatische Spracherkennung (ASR) mittlerweile durchgesetzt und wird in zukünftigen digitalen Geräten vollständig integriert sein. Allerdings ergeben sich für Systeme auf Basis akustischer Sprache mehrere Probleme, wie etwa der Leistungsabfall bei Umgebungslärm, die Belästigung von Umstehenden, und der Mangel an Privatsphäre und Vertraulichkeit. Glücklicherweise gibt es alternative Möglichkeiten, den Sprachproduktionsprozess zu modellieren, und in den letzten Jahren haben wir sogenannte „Silent Speech Interfaces (SSI)" basierend auf der Elektromyographie (EMG) entwickelt. Diese Technik erfasst durch Oberflächenelektroden im Gesicht des Sprechers dessen artikulatorische Aktivitäten, die mit der Sprachproduktion korrelieren. Statt akustischer Sprachsignale werden durch EMG Bewegungen aufgezeichnet, die weder durch Lärm korrumpiert werden, noch ein hörbares akustisches Sprachsignal erfordern.MAPS setzt sich zum Ziel, das bisherige auf Einkanalelektroden basierende Setup auf Viel-Kanal-Elektrodenarrays zu erweitern. Diese Arrays bieten mehrere Vorteile in Bezug auf Multi-Kanal-Signale, unter anderen die räumliche Auflösung, Robustheit bei Positionsverschiebungen und die Bedienerfreundlichkeit. Wir gehen daher davon aus, dass Arrays die EMG-basierte Spracherkennung revolutionieren werden. MAPS zielt auf die systematische Untersuchung der Auswirkungen von Arrays, eine grundlegende Verbesserung in Performanz und Benutzerfreundlichkeit durch innovative Algorithmen und die Akquise eines Datenkorpus, der zur allgemeinen Verfügung gestellt werden wird. Die implementierten Lösungen werden unsere Kenntnisse vertiefen und die Modellierung von Sprache erweitern. Darüber hinaus erwarten wir wesentliche Fortschritte für praktische Anwendungen. Wir haben die erforderlichen Schritte identifiziert und in einem ehrgeizigen aber realistischen Arbeitsprogramm zusammengefasst. Wir sind davon überzeugt, dass die Ergebnisse von MAPS einen erheblichen Einfluss auf die Forschung und Anwendung von SSI haben werden und der Gesellschaft insgesamt zugutekommen.

• DFG Programme: Research Grants