Simulation of Conversation Behavior in Case of Impaired Telephone Transmission
General and Comparative Linguistics, Experimental Linguistics, Typology, Non-European Languages
Electronic Semiconductors, Components and Circuits, Integrated Systems, Sensor Technology, Theoretical Electrical Engineering
Final Report Abstract
In diesem Forschungsprojekt wurde erstmals der Ansatz einer Simulation von Konversationen für die Vorhersage von Sprachqualität beschrieben, umgesetzt und evaluiert. Dabei wurde insbesondere auf das Turn-Taking bei Verzögerungen in der Übertragung (Delay) und Meta-Kommunikation bei Paketverlusten eingegangen. Sprachtelekommunikationssysteme werden am häufigsten für Telefongespräche eingesetzt. In dieser Hinsicht ist die Qualität der übertragenen Sprache eine wichtige Messgröße für die Systementwickler, um ihre Systeme zu klassifizieren und zu bewerten. Dabei hat sich gezeigt, dass die Sensitivität der Nutzer gegenüber Paketverlusten und Übertragungsverzögerungen je nach Art und Interaktivität der Konversation ändert. Bei der Vorhersage der Qualität parametrischen Modellen wurde aber bisher die Konversation an sich überwiegend vernachlässigt und eine Vorhersage rein auf Basis der Parameter der Übertragungsstrecke angestrebt. In diesem Forschungsprojekt wurde eine inkrementelle Simulationsumgebung konzipiert und implementiert, mit denen zwei Konversationstypen mit verschiedenen Interaktivitätsstufen simuliert werden können. Dabei wurde ein Turn-Taking-Mechanismus modelliert, der sowohl auf den syntaktischintonatorischen Eigenschaften als auch auf dem semantischen Inhalt der übertragenen Äußerung basiert. Ebenfalls wurde ein Modell in die Simulation integriert, dass Missverständnisse auf Grund von Paketverlusten modelliert und durch zusätzliche Meta-Kommunikation repariert. Des Weiteren wurde ein Evaluationsframework geschaffen, dass es ermöglicht auf Grund von Dialogakten, Transkriptionen und übertragenem Sprachsignal die Konversation hinsichtlich Aufgabenerfolg, erforderte Meta-Kommunikation und Interaktivität zu analysieren. Somit können Parameter der Konversation selbst als informationstragende Quelle einer Qualitätsvorhersage herangezogen werden. Im Rahmen der Arbeit wurde dabei ein Korpus mit annotierten Konversationen erstellt, die Informationen über Inhalt, Form und Sprecherwechsel beinhaltet. Auch wurde mit Hilfe eines Experiments die interaktiven Auswirkungen von Paketverlusten und Übertragungsverzögerungen analysiert. Die in diesem Projekt entstandene Simulationsumgebung wurde frei zugänglich als Open-Source-Projekt zur Verfügung gestellt. Die durchgeführte Grundlagenforschung bildet die Basis für eine neue Methode, Konversationsqualität instrumentell zu schätzen. Zusammenfassend sind die im Projekt durchgeführten Arbeiten und Analysen ein wichtiger Meilenstein auf dem Weg zur konversationsbasierten Sprachqualitätsvorhersage.
Publications
- “Extending the E-Model Towards Superwideband and Fullband Speech Communication Scenarios,” Proceedings of Interspeech 2019, pp. 3436–3440, 2019
S. Möller, G. Mittag, T. Michael, V. Barriac, and H. Aoki
- “Analyzing the Fullband E-model and Extending it for Predicting Bursty Packet Loss,” in 2020 Twelfth International Conference on Quality of Multimedia Experience (QoMEX), 2020
T. Michael, G. Mittag, and S. Möller
(See online at https://doi.org/10.1109/QoMEX48832.2020.9123104) - “Effects of Delay and Packet-Loss on the Conversational Quality,” Fortschritte der Akustik-DAGA, 2020
T. Michael and S. Möller
- “RETICO: An Incremental Framework for Spoken Dialogue Systems” in Proceeding of the 21st Annual SIGdial Meeting on Discourse and Dialogue, 2020
T. Michael
- “Simulating Turn-Taking in Conversations with Delayed Transmission” in Proceeding of the 21st Annual SIGdial Meeting on Discourse and Dialogue, 2020
T. Michael and S. Möller
- “Simulating Turn-Taking in Conversations with Varying Interactivity,” in Studientexte zur Sprachkommunikation: Elektronische Sprachsignalverarbeitung 2020, pp. 93–100, 2020
T. Michael and S. Möller
