MyVoice: Ein myoelektrisches Sprachverarbeitungssystem zur Interaktion und Kommunikation

• Antragstellerin: Professorin Dr.-Ing. Tanja Schultz
• Fachliche Zuordnung: Arbeitswissenschaft, Ergonomie, Mensch-Maschine-Systeme ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 460884988

Lautlose Sprachverarbeitung zielt darauf ab, Menschen ohne Stimme und solchen Personen, die eine vertrauliche Kommunikation an öffentlichen Orten benötigen, eine Sprachkommunikationstechnologie zur Verfügung zu stellen, die ohne akustische Signale auskommt. Mit ihrem Antrag „MyVoice“ schlagen zwei Forscher aus der Schweiz und Deutschland mit mehr als 10 Jahren Erfahrung auf diesem Gebiet vor, ihre vorhandene Technologie der Silent Speech-Verarbeitung so zu erweitern, dass dies möglich wird. Dazu werden sie modernste neuronale Netzwerkarchitekturen entwickeln, die aus bioelektrischen digitale Spuren der Artikulationsbewegungen eines Sprechers hörbare Sprache erzeugen. Diese Biosignale werden mit unauffälligen Sensoren an der Hautoberfläche gemessen und erfassen Sprache auch dann, wenn das akustische Signal gestört oder überhaupt nicht vorhanden ist. Mit dem Projekt MyVoice sollen die wichtigsten Herausforderungen gelöst werden, die der automatischen Verarbeitung lautloser Sprache für die computerunterstützte Sprachkommunikation oder für Sprachprothesen bislang im Wege standen. Das sind insbesondere schnelle und zuverlässige Trainings- und Anpassungsmechanismen mittels „Human-in-the-Loop-Konzept“, in dem lautlos gesprochen Sprache ohne Verzögerung als hörbares Signal rückgemeldet wird – dadurch können innovative Koadaptionsmechanismen eingesetzt werden, in dem sowohl Maschine als auch SprecherIn vom Feedback lernen. Desweiteren soll die Natürlichkeit der Sprachausgabe verbessert werden, indem prosodische Konturen erzeugt werden, die sowohl semantisch plausibel sind (z.B. Frage versus Aussage) als auch in der Kommunikationssituation als akustisch angenehm wahrgenommen werden. Das Schweiz-Deutsche Antragstellerteam wird durch zwei (nicht finanzierte) Kooperationspartner aus Spanien (Prof. Inmaculada Hernaez, Universität des Baskenlandes und Prof. Jose Gonzalez, Universität Granada) ergänzt, die das MyVoice-System in Studien mit laryngektomierten Patienten einsetzen werden und mit ihrer Expertise in spezifischen technischen Aspekten beratend mitwirken werden.

• DFG-Verfahren: Sachbeihilfen
• Internationaler Bezug: Schweiz
• Kooperationspartner: Privatdozent Dr.-Ing. Michael Wand