Mehrbenutzerfähiges Virtual Reality System für kognitive Agenten
Final Report Abstract
Das Großgerät diente der Simulation von neuro-kognitiven Agenten und ihrer Interaktion mit der Umwelt sowie mit menschlichen Nutzern. Die Professur Künstliche Intelligenz nutzte dabei das Gerät vorwiegend zur Simulation der neurokognitiven Agenten in virtueller Realität. Die erste wesentliche Komponente ist dabei die Entwicklung von Simulationswerkzeugen zur Simulation neuronaler Netze nach biologischem Vorbild auf paralleler Hardware. Hierzu wurde der Neurosimulator ANNarchy entwickelt. Eine Kooperation mit der Professur Rechnerarchitektur (Rehm) diente der Optimierung von „Thread Pipelining“ im ANNarchy-Framework. Aufbauend auf dieser Optimierung konnten für unterschiedliche Low-Latency-Umgebungen optimierte Kommunikationsmuster konfiguriert und verglichen werden. In weiteren Arbeiten untersuchten wir welche Datenstrukturen sich für welche Art der Parallelisierung optimal eignen. Diese Arbeiten werden in einem DFG geförderten Projekt aktuell weitergeführt. Im Rahmen des EU ICT 2011.9.11 FET Proactive: Neuro-Bio-Inspired Systems (NBIS) Projektes "Spatial Cognition" wurden Modelle der Raumkognition untersucht. Am Ende Projektes konnten wir demonstrieren wie ein menschanartiger Agent in Form eines Avatars sich in einer virtuellen Realität im Raum orientieren kann und Aufgaben, wie Objekte finden, erfüllen kann. Im Rahmen des DFG Graduiertenkollegs Crossworlds und im BMBF-Verbundprojekt InterEmotion / StayCentered haben wir das Gerät im wesentlichen für die Mensch-Maschine Kommunikation in Form von Mimik verwendet. Dazu wurden mit Algorithmen des maschinellen Lernens, wie Active Appearance Modelle sowie Deep Learning Architekturen, die Mimik des Menschen in ein Facial Action Coding (FACS) überführt, so dass der Agent seinerseits seine Mimik der Situation entsprechend anpassen kann. Die Professur Graphische Datenverarbeitung und Visualisierung hat das Gerät wie beantragt hauptsächlich zur Bearbeitung sensomotorischer Fragestellungen in virtualisierten Umgebungen im Rahmen des DFG Graduiertenkollegs Crossworlds eingesetzt. Zunächst erfolgte die technische Realisierung von zwei immersiven VR Systemen (Powerwall, L-Bench) als Experimentierplattform für VR Eingabegeräte, sodass Untersuchungen zu möglichst natürlichen Eingaben in VR Szenarien durchgeführt werden konnten. Es schloss sich die Erweiterung des Systems zu einer mehrbenutzerfähigen VR Umgebung an. Dabei standen die in einem Render-Cluster verteilte Generierung multipler Eigenperspektiven für jeden Nutzer und die Implementation eines Softwaresystems zur flexiblen Gestaltung von Interaktionsszenarien unter Einsatz unterschiedlicher VR-Peripherie im Mittelpunkt. Um die Wirkung von räumlichen Informationen in virtuellen Umgebungen auf das Nutzererleben und die Leistung zu untersuchen, wurden Studien in unterschiedlichen Anwendungskontexten am Gerät durchgeführt, bei denen sowohl Aufgabenkomplexität als auch Komplexität der räumlichen Informationen variierten. Parallel dazu fand das Gerät im DFG-Projekt „Entwicklung eines autonom agierenden Gegners in einer VR-Umgebung zur Untersuchung der Antizipationsfähigkeit in den Kampfsportarten“ Verwendung. Dabei wurde ein VR Trainingssystem für die Sportart Karate-Kumite entwickelt. Die Klassifikation der schnellen Probandenbewegungen löst die angepasste Bewegungsgenerierung des Avatars aus, welche als Großbild stereoskopisch projiziert und vom Probanden räumlich wahrgenommen wird. Das System ermöglicht durch seinen hohen Immersionsgrad und die geringe Latenz Antizipationsstudien in VR und die Praktizierung von Antizipationstraining für schnelle Sportarten wie Karate. Mittels der Motion Capture Komponente wurden im laufenden BMBF-Verbundprojekt InterEmotion / StayCentered Körperhaltungen und Gesten von Benutzerdyaden erfasst. Durch Rekonstruktion ihrer räumlichen Situierung und Proxemik wird ein dreidimensionaler Rahmen der Kommunikationssituation einer Dyade geschaffen, der im Kontext eines Fluglotsenarbeitsplatzes zur Validierung in einer VR Umgebung visualisiert werden kann. Die gewonnenen Informationen fusionieren mit anderen Sensordaten und fließen in ein emotionssensitives Assistenzsystem zur situativen Unterstützung der Dyade ein. Die stereoskopische Projektionskomponente wurde zur Validierung der Ergebnisse eines ZIM- Verbundprojektes verwendet. Dabei konnte eine als Eventgerät in einen Seecontainer prototypisch eingebaute vierseitige CAVE Installation durch die Professur GDV erfolgreich in Betrieb genommen werden. Als Kernkomponente diente das in früheren Projekten an der Professur GDV implementierte Kamera basierte Kalibriersystem für Multiprojektionsanlagen mit einer Bildfläche, welches im Projektverlauf umfassend weiterentwickelt worden ist, so dass es nun auch Systeme mit mehreren Bildflächen genutzt werden kann.
Publications
-
(2014) UTOPIA: Generic User-level Access to the Physical Memory Address Space for IP Core Debugging and Validation on FPGA based PCIe Extension Cards. IEEE 22nd Annual International Symposium on Field-Programmable Custom Computing Machines
Nöll, H.; Siegert, S.; Hiltscher, J.; Rehm, W.
-
Exploring Stereoscopic Multi-user Interaction with Individual Views, International Conference on Cyberworlds (CW) 2014, pp. 101-106 ISBN 978-1-4799-4678-5
Küszter, V., Brunnett, G., Pietschmann, D.
-
(2015) ANNarchy: a code generation approach to neural simulations on parallel hardware. Frontiers in Neuroinformatics, 9, 19
Vitay, J., Dinkelbach, H.Ü., Hamker F.H.
-
Advanced luminance control and black offset correction for multiprojector display systems, Journal of Virtual Reality and Broadcasting, Vol. 12 (2015), No. 4 March 2016
Zietlow, T., Heinz, M., Brunnett, G.
-
Dense sampling of 3D color transfer functions using HDR photography, Proc. IEEE Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 25-32, IEEE 2015
Heinz, M.; Brunnett, G.
-
Kooperation in Virtuellen Umgebungen mit Individuellen Perspektiven, Tagungsband interact conference 2015, Mensch 2020 - transdisziplinäre Perspektiven, pp. 233-241, Verlag & Wissenschaft und Praxis Chemnitz, ISBN 978-3-944192-03-1
Küszter, V., Rusdorf, St., Brunnett, G.
-
Combining inverse blending and Jacobian-based inverse kinematics to improve accuracy in human motion generation, Journal of Computer Animation and Virtual Worlds, Vol. 27, No. 1, 2016, pp. 3-13
Zhang, L.; Brunnett, G.
-
The Performance of a Biologically Plausible Model of Visual Attention to Localize Objects in a Virtual Reality. In: A.E.P. Villa et al. (Eds.): ICANN 2016, Part II, LNCS 9887. pp. 447-454
Jamalian, A., Beuth, F., Hamker, F.H.
