Detailseite
Projekt Druckansicht

GRK 1424:  MUSAMA - Multimodal Smart Appliance Ensembles for Mobile Applications

Fachliche Zuordnung Informatik
Förderung Förderung von 2006 bis 2015
Projektkennung Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 20190020
 
Erstellungsjahr 2016

Zusammenfassung der Projektergebnisse

Ausgangsbasis von MUSAMA war die These, dass die zukünftige allgegenwärtige Informationstechnik in der Regel von dynamischen Appliance Ensembles gebildet wird – lokale Ansammlungen voneinander unabhängiger, stationärer und mobiler Artefakte, deren Zusammensetzung sich unvorhersehbar ändern kann. Die Mitglieder eines solchen Ensembles – etwa ein Tablet-PC und ein Videoprojektor – müssen in der Lage sein, spontan und ohne Hilfestellung sinnvoll miteinander zu kooperieren. Das zentrale Ziel von MUSAMA ist die Verwirklichung von kohärenter Assistenz des Menschen durch ein Geräteensemble, möglichst ohne globales Wissen über die Struktur und die Fähigkeiten des Ensembles erforderlich zu machen. Daraus ergibt sich auch das Projektakronym, das für multimodale, smart mobile Appliance Ensembles steht und damit das intelligente Verhalten zum Ziel hat, das mobile, ad hoc verbundene Appliances aufweisen sollen. Aus Sicht der Benutzerinteraktion stehen multimodale Kommunikationsformen mit dem Anwender im Vordergrund. Um die gestellten Anforderungen erfüllen zu können, sind Verfahren erforderlich, die es solchen „Smart Appliances“ ermöglichen spontan zu kooperieren, um sowohl die Intentionen des in der Umgebung handelnden Nutzers zu erkennen, als auch Strategien für geeignete Aktionen bzw. Reaktionen zu bestimmen und diese gemeinschaftlich auszuführen. In MUSAMA wurden in diesen beiden großen Themenkomplexen neue Lösungsansätze für „Smart Appliance Ensembles“ erarbeitet. Auf der Ebene der Gerätekooperation wurden neue Methoden der verteilten KI entwickelt, die eine dezentrale zielgesteuerte Kooperation der Geräte in der Umgebung des Nutzers ermöglichen. Dadurch werden „Smart Ensembles“ robust gegenüber Geräteausfällen und dynamische Änderungen der Ensemblestruktur und der Nutzer muss nicht die Ensemblemitglieder kennen, um alle Möglichkeiten der Umgebung zu nutzen. Diese Funktionalität wurde um die Möglichkeit ergänzt, das Verhalten solcher Ensembles mit Hilfe leistungsfähiger komponentenbasierter Simulationsansätze zu analysieren. Zusätzlich wurden Deduktionsmethoden entwickelt, die es ermöglichen, aus den symbolischen Modellen der einzelnen Ensemblemitglieder natürlichsprachliche Erklärungen zu synthetisieren, die einem Nutzer das Verhalten eines Ensembles erläutern können. Die Gerätekooperation wird unterstützt durch neue echtzeitfähige Kommunikationsverfahren, die einerseits geschickt existierende Standardprotokolle nutzen, wie etwa Ethernet und die andererseits insbesondere eine effiziente Nutzung von drahtloser Bandbreite mit Hilfe von WLAN-Mesh-Ansätzen erlauben. Weiterhin entstanden Lösungen für Middleware-Ansätze, die eine Detektion von verteilten Ereignissen in einem Ensemble realisieren und eine adaptive Verteilung von Funktionen auf Ensemble-Ressourcen bieten. Auf der Ebene der Nutzerschnittstelle entstanden Methoden, die für Anwendungen in der Wissensexploration im Team komplexe multimediale Präsentationen automatisch so auf Multi-Display-Umgebungen zu verteilen, dass Informationsbedürfnisse und positionsabhängige Einsehbarkeit von Displays optimal berücksichtigt werden. Dies wird ergänzt um Steuerungsmethoden, die es erlauben, gezielt eine Multidisplay-Präsentation zu choreografieren und um Methoden, die zur optimalen Informationspositionierung Blickrichtung und Aufmerksamkeitsfokus des Nutzers verfolgen bzw. vorhersagen. Diese Methoden adressieren insbesondere auch die Nutzung von großen, hochauflösenden Displayumgebungen. Zur Erkennung der Nutzerintentionen aus unscharfen und mehrdeutigen Sensordaten entstanden neue leistungsfähige Modellierungs- und Inferenzverfahren für Bayessche Filter, die eine Rekonstruktion strukturierter und zielorientierter Handlungen auf der Basis symbolischer kausaler Aktivitätsmodelle erlauben. Diese Methoden werden ergänzt um Verfahren, die Aktivitätsmodelle aus textuellen Beschreibungen oder aus annotierten Verhaltenssequenzen lernen. Auf der Ebene der Sensorik entstanden zusätzliche neue Verfahren für die passive Indoor-Lokalisierung auf der Basis von verteilten passiven RFID-Transpondern, durch die der Aufenthaltsort von Personen in einer Umgebung bestimmt werden kann, ohne Kameras oder eine Instrumentierung des Nutzers zu erfordern. Die Arbeiten werden ergänzt durch Lösungen für die Sicherstellung von Privacy und Security in spontanen Ensembles – eine wesentliche Herausforderung in ad-hoc-vernetzten Systemen, die hochaufgelöste Informationen über Aktivitäten und Intentionen von Nutzern erfassen und verarbeiten.

Projektbezogene Publikationen (Auswahl)

 
 

Zusatzinformationen

Textvergrößerung und Kontrastanpassung