CollabWall: Understanding Collaborative Work with Interactive Display Walls in Multi-Device Environments

• Applicant: Professor Dr.-Ing. Raimund Dachselt
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2017 to 2022
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 325382068

• Final Report Year: 2022

Final Report Abstract

Im Projekt CollabWall haben wir ein besseres Verständnis der kollaborativen Arbeit in diversen Multi-Display bzw. Multi-Device-Umgebungen erhalten, von Wand-zentrierten, über mobile bis hin zu Raum-zentrierten Display-Umgebungen, die ebenfalls Augmented Reality als zusätzliche oder sogar alleinige Displayform berücksichtigen. Dabei haben wir uns auf die drei typischen Anwendungsgebiete Datenexploration und -analyse mithilfe von Visualisierungen, kollaborative Informationssuche sowie Brainstroming und Sensemaking konzentriert. Es wurden zunüachst neue Interaktions- und Visualisierungstechniken zur Unterstützung der kollaborativen Datenanalyse in MDU entwickelt. Während kleinere Evaluationen Teil dieser Arbeiten waren, führten wir auch eine größere empirische Studie zur kollaborativen Datenexploration in einer Wand-zentrierten Display-Umgebung durch. Ebenfalls wurde die automatisierte Verteilung von Visualisierungs-Views in dynamischen, heterogenen MDU addressiert. Für die Anwendungsdomäne Collaborative Information Seeking entstand innerhalb des Projektes ein Forschungswerkzeug, das unterschiedliche Modi des Informationsaustausches zur Untersuchung von Awareness-Mechanismen bei der kollaborativen Websuche ermöglicht (ausgezeichnet mit Honorable Mention Award). Primär in zahlreichen studentischen Arbeiten haben wir ebenfalls Werkzeuge und Techniken zum kollaborativen Brainstorming und Sensemaking entwickelt und auch empirisch evaluiert. Hierbei war die Beobachtung interessant, dass der gesamte verfügbare Displayraum und der Raum vor den Displays gleichermaßen und unabhängig von der Gruppengröße während des Arbeitsprozesses genutzt wurde. Ein spannender und innovativer Forschungsaspekt im Projektverlauf war die Nutzung von Augmented Reality. Einerseits in unmittelbarer Kombination mit interaktiven Displays, dem Konzept der sogenannten Augmented Displays, wobei wir AR mit der Displaywand zur kollaborativen Datenanalyse verknüpften. Andererseits die Nutzung des physischen Raumes im Sinne einer Raum-zentrierten Display-Umgebung, worin wir größere empirische Studien zum kollaborativen Sensemaking durchführten. Möbel und raumspezifische Flächen unterstützen die Nutzer:innen beim Strukturieren und Organisieren von virtuellen Dokumenten, und Personen stellen beim Interagieren mit virtuellen Inhalten einen direkten semantischen und metaphorischen Bezug zur realen Umwelt her und behandelten digitale Dokumente teils wie reale. Innerhalb des Projektes sind mehrere Werkzeuge zur Analyse von Nutzerverhalten in Multi-Device-Umgebungen entwickelt und der Community zur Verfügung gestellt worden: ein aufwändiges, erweitertes 2D-Visualisierungstool für Wand-zentrierte Display-Umgebungen, eine Browsererweiterung für die Protokollierung und Analyse von kollaborativer Websuche und eine Kombination von 2D und 3D-Visualisierungen für die in-situ Analyse von räumlichen und zeitlichen Interaktionsdaten in MDU mittels Augmented Reality (MIRIA-Tool). Insbesondere die (immersive) in-situ Analyse von Verhaltensmustern innerhalb der ursprünglichen Studienumgebung hat gezeigt, dass interessantes Nutzerverhalten und Muster teilweise einfacher zu erkennen sind, als mit herkömmlichen, von der Studienumgebung entkoppelten 2D-Desktop-Werkzeugen.

Publications

• When David Meets Goliath: Combining Smartwatches with a Large Vertical Display for Visual Data Exploration. In: Proceedings of the CHI Conference on Human Factors in Computing Systems. CHI ’18. Montreal, QC, Canada: ACM, Apr. 2018, 19:1–19:13
  T. Horak, S. K. Badam, N. Elmqvist und R. Dachselt
  
• Multiple Coordinated Views at Large Displays for Multiple Users: Empirical Findings on User Behavior, Movements, and Distances. In: IEEE Transactions on Visualization and Computer Graphics 25 (1 Jan. 2019), S. 608–618
  R. Langner, U. Kister und R. Dachselt
  
• Vistribute: Distributing Interactive Visualizations in Dynamic Multi-Device Setups. In: Proceedings of the CHI Conference on Human Factors in Computing Systems. CHI ’19. Glasgow, Scotland, UK: ACM, Mai 2019, S. 1–13
  T. Horak, A. Mathisen, C. N. Klokmose, R. Dachselt und N. Elmqvist
  
• Challenges in Collaborative Immersive Visualization. In: CHI 2020 Workshop on Immersive Analytics: Envisioning Future Productivity for Immersive Analytics. CHI ’20. Honolulu, Hawaii, USA, Apr. 2020, S. 1–6
  W. Büschel, G. Eckert und R. Dachselt
  
• CoFind: A Browser Plugin for Investigating Co-located Collaborative Web Search. In: Mensch und Computer 2020 - Tagungsband. New York: ACM, Sep. 2020, S. 425–429
  R. Fuhrmann, A. Lehmann, A. Mitschick, R. Langner und R. Dachselt
  
• MIRIA: A Mixed Reality Toolkit for the In-Situ Visualization and Analysis of Spatio-Temporal Interaction Data. In: Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems. CHI ’21. Yokohama, Japan: ACM, Mai 2021, S. 1–15
  W. Büschel, A. Lehmann und R. Dachselt
  
• Personal Augmented Reality for Information Visualization on Large Interactive Displays. In: IEEE Transactions on Visualization and Computer Graphics 27 (2 Feb. 2021), S. 1182–1192
  P. Reipschläger, T. Flemisch und R. Dachselt
  
• Where Should We Put It? Layout and Placement Strategies of Documents in Augmented Reality for Collaborative Sensemaking. In: Proceedings of the CHI Conference on Human Factors in Computing Systems. CHI ’22. New Orleans, LA, USA: ACM, Apr. 2022, S. 1–16
  W. Luo, A. Lehmann, H. Widengren und R. Dachselt