Audio-visuelle Prosodie der (semi-)geflüsterten Sprache

• Antragstellerin: Dr. Marzena Zygis
• Fachliche Zuordnung: Allgemeine und Vergleichende Sprachwissenschaft, Experimentelle Linguistik, Typologie, Außereuropäische Sprachen
• Förderung: Förderung von 2019 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 426673330

Prosodie spielt eine wichtige Rolle in der Sprache. Sie hilft die Grenzen von Wörtern und Phrasen zu identifizieren, hebt die wichtigsten Informationen hervor und kodiert Emotionen. Während Prosodie der stimmhaften Sprache ein etablierter Forschungsgegenstand in der Phonetik und Phonologie ist, wurde der Prosodie der geflüsterten Sprache bis jetzt wenig Aufmerksamkeit gewidmet. Darüber hinaus wurde Prosodie der halb-geflüsterten Sprache bis jetzt kaum erforscht. Das Hauptziel des Projekts ist, mehr Einblick in die Prosodie der geflüsterten und halb-geflüsterten Sprache zu gewinnen.Die Herausforderung des Projekts besteht darin, dass die Grundfrequenz, der Hauptparameter der prosodischen Variation, in der geflüsterten Sprache völlig fehlt. Deshalb schlagen wir vor, Prosodie mit Hilfe von anderen Parametern wie zum Beispiel Intensität, akustische Länge und spektrale Eigenschaften der Vokale und Konsonanten zu untersuchen. In unserer Analyse schenken wir besondere Aufmerksamkeit der noch wenig erforschten Interaktion zwischen Prosodie und Konsonanten.Unser Forschungsziel ist auch, das akustische Parameterspektrum um die gestische Dimension zu erweitern, indem wir die Motion Capture Technologie verwendet werden. Die geplanten Experimente untersuchen die Kommunikation, die entweder nur durch den akustischen Kanal oder gleichzeitig durch den akustischen und visuellen Kanal abläuft. Wir sind an der Frage interessiert, ob und wie sich die akustischen Cues unter diesen beiden Bedingungen ändern und ob die visuelle Prosodie die Cues in der (halb-)geflüsterten Sprache verstärkt oder sogar ersetzt.Schließlich initiiert das Projekt ein größeres Vorhaben, dessen endgültiges Ziel ist, Algorithmen zu bauen, die die halb-geflüsterte und geflüsterte in die stimmhafte Sprache umwandeln. In diesem Projekt möchten wir uns auf die halb-geflüsterte Sprache konzentrieren und die Ergebnisse der akustischen Studie in ein System implementieren, das die halb-geflüsterte Sprache in die stimmhafte Sprache umwandelt. Es wird anhand der ILSE Korpus Daten getestet. Solch ein System wird helfen, den älteren und kranken Menschen, die z.B. unter Kehlkopfkrebs oder neuro-generativen Krankheiten wie Parkinson leiden, tägliche Herausforderungen zu mildern.

• DFG-Verfahren: Sachbeihilfen