UniVA: Einheitliche Nutzungsschnittstelle für Visual Analytics

• Antragstellerinnen / Antragsteller: Professorin Dr.-Ing. Heidrun Schumann; Professor Dr.-Ing. Bodo Urban
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2017 bis 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 380014305

• Erstellungsjahr: 2023

Zusammenfassung der Projektergebnisse

Die Entwicklung von allgemeinen VA-Lösungen, die in verschiedenen Anwendungsbereichen verwendbar sind, ist herausfordernd, da sie die Integration einer Vielzahl von Funktionalitäten für Visualisierung, Interaktion und automatische Berechnung erfordern. Statt neue „Super-Anwendungen“ zu entwickeln, ist es oft wünschenswert und viel effektiver, bestehende VA-Werkzeuge zu kombinieren und zu koordinieren, um die erforderliche Funktionalität bereitzustellen. Im Rahmen dieses Projekts haben wir neue Konzepte für mehrschichtige VA-Werkzeugketten entwickelt, die im Gegensatz zu festen VA-Frameworks eine flexible Kopplung von unabhängigen VA-Werkzeugen ermöglichen. Unsere theoretische Basis bildet ein Koordinationsgraph zur Modellierung der Werkzeugketten, komplementäre Datenaustauschmechanismen und geeignete einheitlichte UI-Ensembles. Zusammen wird so die Grundlage für eine effektive, leichtgewichtige Koordination mehrerer Werkzeugen und Daten in verschiedenen VA-Szenarien bereitgestellt. Basierend auf dieser konzeptionellen Grundlage haben wir alle unsere Ideen in mehreren Software- Prototypen umgesetzt. Dazu gehört ein flexibler Editor zur interaktiven Erstellung von Werkzeugketten entsprechend der Domain-Workflows und zur Bereitstellung automatisierter Datenaustausch- und Transformationsmethoden. Außerdem haben wir ein einheitlichtes UI entwickelt, um alle relevanten Informationen einer koordinierten Werkzeugkette effektiv anzuzeigen, inklusive mehrerer Erweiterungen zur automatischen Anordnung und Überblendung von Ansichten sowie zur Annotation. Insgesamt repräsentieren unsere Prototypen Fortschritte bei der Kopplung unabhängiger VA-Werkzeuge sowohl auf der Datenebene als auch auf der Ansichtsebene innerhalb eines Analyse-Workflows. Um den Zugang und die Weiterverwendung unserer Arbeiten zu fördern, haben wir unsere Lösungen als Open-Source-Projekte auf GitHub veröffentlicht. Die bereitgestellten Repositories umfassen eine allgemeine Beschreibung unseres Projekts, die AnyProc-Software zur Erstellung und Ausführung von Werkzeugketten und die Revize-Bibliothek zur Verwaltung des Datenaustauschs. Die Anwendbarkeit unserer Lösungen haben wir anhand von zwei realen Szenarien zusammen mit Domain- Experten demonstriert: (i) die Erkennung von kardiovaskulären Abnormalitäten mit unserem Health@Hand-Framework und (ii) die Früherkennung von Netzhautveränderungen bei Diabetes mit unserem einheitlichten UI. In beiden Szenarien konnten wir die Konfiguration von leichtgewichtigen Werkzeugketten auf echten Daten on-the-fly ermöglichen. Weiterhin haben wir den Intensivpflegedatensatz MIMIC-III mit unserem einheitlichen UI untersucht und mehrschichtige Werkzeugketten mit unserem AnyProc-Editor erzeugt, um die Datenanalyse zu unterstützen. Die Ausführung der Werkzeugketten bildete dabei einen Mittelweg zwischen der einerseits manuellen Werkzeugkoordination durch Domain-Experten und der andererseits verwalteten Werkzeugkoordination durch VA-Frameworks. Die im Rahmen dieses Projekts durchgeführten Untersuchungen sind Teil des breiteren Forschungsbereichs der interaktiven visuellen Datenanalyse. Unsere Ergebnisse zeigen insbesondere, dass geeignete Koordinationsmittel für die Arbeit mit mehreren Werkzeugen in interaktiven Datenanalyse-Workflows in verschiedenen Anwendungsbereichen von entscheidender Bedeutung sind. Unsere Arbeiten haben zudem neue Ideen hervorgebracht und die Fortführung laufender Forschungskooperationenen ermöglicht. Insbesondere werden wir unsere Zusammenarbeit mit Augenärzten in einem neuen gemeinsamen Forschungsantrag fortsetzen, um eine einheitliche Schnittstelle für die VA von interdisziplinären Langzeit-Augenstudiendaten zu entwickeln. Durch die Kombination der Projektergebnisse mit neu entwickelten Techniken werden wir nicht nur die Kopplung mehrerer Werkzeuge und Daten unterstützen, sondern auch die zusätzliche Komplexität mehrerer therapeutischer, diagnostischer und bildgebender Modalitäten in Analyse-Workflows über mehrere medizinische Einrichtungen hinweg adressieren.

Projektbezogene Publikationen (Auswahl)

• “Health@Hand: A Visual Interface for eHealth Monitoring”. In: Proceedings of the IEEE Symposium on Computers and Communications (ISCC). 2019, pp. 1093–1096
  L. Nonnemann, M. Haescher, M. Aehnelt, G. Bieber, H. Diener, and B. Urban
  
• “Lightweight Coordination of Multiple Independent Visual Analytics Tools”. In: Proceedings of the International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (IVAPP). INSTICC. SciTePress, 2019, pp. 106–117
  H. Schulz, M. Röhlig, L. Nonnemann, M. Aehnelt, H. Diener, B. Urban, and H. Schumann
  
• Interactive Visual Data Analysis. AK Peters Visualization Series. CRC Press, 2020
  C. Tominski and H. Schumann
  
• “A Characterization of Data Exchange between Visual Analytics Tools”. In: Proceedings of the International Conference Information Visualisation (IV). 2020, pp. 368–377
  L. Nonnemann, H. Schumann, B. Urban, M. Aehnelt, and H.-J. Schulz
  
• “A Layered Approach to Lightweight Toolchaining in Visual Analytics”. In: Computer Vision, Imaging and Computer Graphics Theory and Applications. Vol. 1182. Communications in Computer and Information Science. Springer, 2020, pp. 313–337
  H. Schulz, M. Röhlig, L. Nonnemann, M. Hogräfer, M. Aehnelt, B. Urban, and H. Schumann
  
• “Annotations in Different Steps of Visual Analytics”. In: Proceedings of the International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (IVAPP). INSTICC. SciTePress, 2021, pp. 155–163
  C. Schmidt, B. Grundel, H. Schumann, and P. Rosenthal
  
• “Customizable Coordination of Independent Visual Analytics Tools”. In: Proceedings of the EuroVis Workshop on Visual Analytics (EuroVA). The Eurographics Association, 2021
  L. Nonnemann, M. Hogräfer, H. Schumann, B. Urban, and H.-J. Schulz
  
• “Toward flexible visual analytics augmented through smooth display transitions”. In: Visual Informatics 5.3 (2021), pp. 28–38
  C. Tominski, G. L. Andrienko, N. V. Andrienko, S. Bleisch, S. I. Fabrikant, E. Mayr, S. Miksch, M. Pohl, and A. Skupin
  
• Towards a Unified User Interface for Visual Analysis of Retinal Data in Ophthalmology
  M. Röhlig, L. Nonnemann, H.-J. Schulz, O. Stachs, and H. Schumann
  
• “A Data-Driven Platform for the Coordination of Independent Visual Analytics Tools”. In: Computers and Graphics 106 (2022), pp. 152–160
  L. Nonnemann, M. Hogräfer, M. Röhlig, H. Schumann, B. Urban, and H. Schulz