A Multimodal Interaction Modeling Language supporting the Specification and Design of Multimodal Interaction Setups and Multimodal Applications
Final Report Abstract
Die Entwicklung von multimodalen Benutzungsschnittstellen ist komplex und zeitaufwändig: Neben der Verwendung von zusätzlichen Modalitäten, wie beispielsweise Zeichensprache, Körperbewegungen oder auch Sprache zur Steuerung einer Anwendung, stellt insbesondere deren beliebige Kombination (Fusion) und Repräsentation über diverse Medien (Fission) Softwareentwickler und Interaktionsdesigner vor komplexe Herausforderungen. Klassische Interaktionsparadigmen, die auf Maus und Tastatur als Eingabegeräte abgestimmt sind, können multimodale Interaktion nur begrenzt abbilden. Mittels Post-WIMP Benutzungsschnittstellen werden daher neue Interaktionskonzepte und Techniken umgesetzt, die individuell auf die Eigenschaften der jeweils eingesetzten Medien und Modalitäten abgestimmt sind. Im Rahmen dieses Forschungsstipendiums wurde eine grafische Notation entworfen, die das Design von multimodalen Benutzungsschnittstellen ermöglicht und in gängige modellbasierte Entwicklungsprozesse integriert werden kann. Dazu greift die Notation gängige Abstraktionsstufen, wie die Aufgabenmodellierung, abstrakte und konkrete Benutzungsschnittstellenmodelle auf und ermöglicht die Modellierung von abstrakten und konkreten (Post-WIMP) Interaktoren, die über multimodale Mappings flexibel zu einer Benutzungsschnittstellen verknüpft werden können. Zur Vereinfachung wird die Notation durch zwei grafische Editoren und eine Laufzeitumgebung unterstützt. Letztere kann die Notation direkt ausführen und wurde, wie auch die Editoren als Open Source veröffentlicht. Durch eine Verbindung der Editoren mit der Laufzeitumgebung lassen sich Interaktionsdesigns unmittelbar als Prototypen ausführen und während des Tests mit Nutzern auf der abstrakten Designebene über grafische Animationen auch beobachten. Dadurch lassen sich im Sinne des Rapid-Prototypings effizient verschiedene Entwürfe multimodaler Interaktoren und auch Interaktionstechniken erstellen und über Nutzertests vergleichen. Im Verlauf des Projektes wurden mehrere Fallstudien von multimodalen Anwendungen umgesetzt, die hauptsächlich über Handgestiken und Körperbewegungen steuerbar waren und in denen mehrere Interaktionsvarianten unter dem Einsatz der Notation und der Laufzeitumgebung prototypisch umgesetzt und evaluiert wurden. Die grafische Notation wurde erfolgreich in den Standardisierungsprozess des W3C eingebracht und in deren Arbeitsgruppe „MBUI“ berücksichtigt. Die aktuelle „Working Draft“ für „Abstract User Interface Models“ stellt die Beziehung zu der grafischen Notation des Projektes (MINT) dar und die vom W3C herausgegebene „Introductory Note“ greift zwei der Fallstudien des Projektes als bespielhaft Umsetzungen des neuen Standards auf.
