Multimodale Präsentation und Erkundung von zeitabhängigen Echtzeitdaten durch blinde Menschen

• Antragsteller: Professor Dr. Gerhard Weber
• Fachliche Zuordnung: Arbeitswissenschaft, Ergonomie, Mensch-Maschine-Systeme ; Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 514258978

Um komplexe Daten die in Echtzeit entstehen überwachen zu können, werden diese meist visualisiert. Damit blinde Menschen in den Arbeitsbereich der Datenüberwachung integriert werden können, fehlt eine adäquate Sonifikation und Haptifikation. In diesem Kontext wird von blinden Mitarbeitern eine Kombination von Braille als auch Sprachsynthese bereits zur Interaktion mit graphischen Benutzeroberflächen eingesetzt, so dass auch auf Basis der Verbalisierung graphischer Inhalte (Menüs, Textfelder, usw.) die Zusammenarbeit mit sehenden Menschen ermöglicht wird. Das Hauptziel des Projekts ist es, ein multimodales, nicht-visuelles Software-Konzept zur Erfassung und Erkundung von Echtzeitdatenströmen mit aktuell verfügbaren mobilen Geräten und Wearables zu entwerfen, um blinden Menschen eine unabhängige Analyse der Daten zu ermöglichen. Frühere Arbeiten haben Multimodalität durch Sonifikation und Haptifikation oft jeweils isoliert betrachtet. Mit diesem Projekt soll der nicht-visuelle Zugang zur Informationsvisualisierung ausgebaut werden. Dazu ist die Komplexität der Merkmale zu charakterisieren sowie die temporalen Anforderungen aus der Überlagerung von Echtzeitdaten mit der nicht-visuellen Interaktion per Tastatur mit Screenreadern einzubeziehen. Passive Wahrnehmung durch z.B. Vibration mittels Wearables oder sonifizierte Datenmerkmale wird mit aktiven Handlungen zu Erkundung und Analyse integriert und in die übrigen Aktivitäten der Benutzer einbezogen. Das Nutzendenzentrierte Design ist eine bewährte Methode, um Software-Anwendungen zu entwickeln, die auf die Bedürfnisse der Zielgruppe abgestimmt sind. Diese Design-Methode wollen wir in dem beantragten Projekt verfolgen, um die Wahl der Modalitäten auf die Anforderungen der Benutzer abzustimmen, je nach Verwendung der Modalitäten von Screenreadern. Dafür ist es notwendig, blinde und sehende Menschen bereits von Beginn an einzubeziehen. Dies erfordert eine Kombination aus konzeptioneller Arbeit und empirischer Forschung. Der Arbeitsplan besteht aus insgesamt vier Arbeitspaketen, die drei verschiedene use cases und ein integriertes neuartiges Konzept verfolgen. Insgesamt sind acht Teilstudien und ein Workshop innerhalb von drei Jahren geplant.

• DFG-Verfahren: Sachbeihilfen