Evaluation von Sprachqualität in einer Konversationssituation mittels Crowdsourcing

• Antragsteller: Professor Dr.-Ing. Sebastian Möller
• Fachliche Zuordnung: Akustik ; Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 501877996

Der Erfolg moderner Telekommunikationsdienste hängt signifikant von der wahrgenommenen Nutzungsqualität ab. Bei Sprachkommunikationsdiensten wie etwa Voice-over-IP wird die wahrgenommene Qualität mittels subjektiver Nutzertests evaluiert, die als Hör- oder Konversationstests durchgeführt werden können. In der Regel werden diese Experimente in einer Laborumgebung durchgeführt, damit Einflussfaktoren wie z.B. Hintergrundgeräusche oder das Hörvermögen der Proband*innen kontrolliert werden können; im Gegenzug sind solche Labortests jedoch mit einem hohen Kosten- und Zeitaufwand verbunden.Crowdsourcing (CS) bietet neue Möglichkeiten der Qualitätsmessung mittels eines globalen Proband*innen-Pools über das Internet. Ein solches Vorgehen hat mehrere Vorteile: Zum einen ermöglicht es die Untersuchung von Einflussfaktoren der Teilnehmer*innen aufgrund der vielfältigen Nutzer*innenbasis, sowie von Einflussfaktoren der Umgebung aufgrund der realistischen Nutzungssituationen der Proband*innen. Zum anderen bieten CS-Studien reduzierte Kosten und niedrigere Durchlaufzeiten im Vergleich zu Labortests. Die Empfehlung P.808 der International Telecommunication Union (ITU-T) enthält bereits Richtlinien zur Verwendung des CS-Ansatzes für die Bewertung der Sprachqualität. Sie konzentriert sich jedoch nur auf die Erfassung von Qualität in reinen Hörsituationen und gibt keine Empfehlungen für Konversationstests.In dem hier beantragten Projekt werden wir auf der Grundlage zahlreicher Tests im Labor und durch Crowdsourcing systematisch die folgenden zentralen Forschungsfragen beantworten: Wie sollte ein crowdsourcing-basierter Konversationstest aufgebaut sein, damit valide und zuverlässige Ergebnisse erzielt werden können? Wie kann eine echtzeitfähige Sprachkommunikationsplattform entwickelt werden, die es ermöglicht, alle test-externen Faktoren, die von der Internetverbindung oder der genutzten Hardware stammen, zu kontrollieren? Wie können die Charakteristika der Teilnehmer*innen und der Testumgebung in CS-Tests erfasst werden? Wie ist der Testablauf zu gestalten und welche Unterschiede zwischen crowdsourcing- und laborbasierten Konversationstests sind zu erwarten?Das Ziel des vorliegenden Forschungsvorhabens ist es, den Einfluss der wichtigsten Eigenschaften der Teilnehmer*innen, ihrer Geräte und der Testumgebung in CS-basierten Konversationstests im Vergleich zu Laborexperimenten zu analysieren und zu quantifizieren. Darüber hinaus sollen valide und zuverlässige Testmethoden definiert werden, um relevante Merkmale (z.B. Umgebungsgeräusche und Hörvermögen der Teilnehmer*innen) aus der Ferne zu analysieren. Basierend auf diesen Arbeiten werden datengestützte Richtlinien für die Durchführung von CS-basierten Konversationstests entwickelt, die für eine neue ITU-T Richtlinie vorgeschlagen und für die Forschungsgemeinschaft offen zugänglich gemacht wird.

• DFG-Verfahren: Sachbeihilfen