Servicenavigation

Detailseite

Zurück

Projekt Druckansicht

Bodyscanner

Fachliche Zuordnung Informatik
Systemtechnik
Förderung Förderung in 2015
Projektkennung Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 264489367
 
Erstellungsjahr 2019

Zusammenfassung der Projektergebnisse

Das Großgerät wurde u.a. für die folgenden Aufgaben eingesetzt: 1) Im Rahmen der InnoProfile-Transfer-Initiative “localizeIT” besteht die Notwendigkeit, in einem Foto die Orientierung von Personen relativ zur Kamera zu bestimmen, wozu auf Deep-Learning-Verfahren zurückgegriffen wurde. Lernverfahren mit neuronalen Netzen erfordern eine sehr große Zahl gelabelter Trainingsdatensätze, in diesem Fall Bilder von Menschen aus möglichst vielen verschiedenen, genau bekannten Kamera-Perspektiven. Der 3D-Scanner konnte erfolgreich für die Generierung solcher Trainingsdaten eingesetzt werden. Der Workflow zur Erstellung von Image-Testbeds für Kopfposen wurde im Rahmen der INFORMATIK 2017 vorgestellt. 2) Im Rahmen der ESF-Nachwuchsforschergruppe: „Sozial agierende, kognitive Systeme zur Feststellung von Hilfsbedürftigkeit“ wird erforscht, wie aus dem Verhalten eines Nutzers eines Verkaufsautomaten abgeleitet werden kann, ob dieser Unterstützung bei der Nutzung benötigt. Bereits Position und Orientierung des Kopfes haben eine enorme Aussagekraft über die Hilfsbedürftigkeit. Bspw. suchen Nutzer in der Nähe des Automaten nach Nutzungshinweisen oder weiteren Bedienelementen oder drehen sich zu anderen anstehenden Nutzern um mit dem Ziel nachzufragen. Im Rahmen dieses Projektes wurden mit dem Großgerät weitere Referenzdaten für die Detektion von Kopfposen erzeugt. 3) KaraKter ist ein von Athleten positiv evaluierter virtueller Karate-Kumite Charakter für das VR- basierte Training. Dabei wird für die Echtzeit-Interaktion ein menschlicher Athlet in einer virtuellen Umgebung verfolgt. KaraKter bewegt sich karatespezifisch, nähert sich dem Athleten und realisiert je nach Verhalten des Menschen angemessene Angriffe. Der Scanner wurde für Experimente mit personalisierten Avataren eingesetzt. 4) Die Animation von Menschmodellen erfordert ein Skelett, das in Größe und Ausgangspose dem Menschmodell entspricht. Dieses Skelett kann durch den Einsatz markerloser Verfahren zur Erkennung von 2D Skeletten in Farbbildern automatisiert erzeugt werden. Dafür dienen die Kamerabilder des Bodyscanners als Ausgangspunkt. Pro Kamerabild werden die Gelenke aller im Bild befindlichen Körperteile im Bildraum durch den Einsatz neuronaler Faltungsnetze markiert. Die bei der Photogrammetrie verwendeten Informationen über Position und Orientierung der Kameras zueinander ermöglichen im Anschluss die Rekonstruktion eines dreidimensionalen Skeletts, welches für die Animation verwendet werden kann. 5) Zur automatisierten Erzeugung von Sprachanimationen wurde eine Proof-of-Concept Software entwickelt, wobei ein animierbares Menschmodell eine Textsequenz nachsprechen kann. Dazu wurde mit dem Scanner eine Testperson erfasst, die nacheinander 50 Phoneme des ARPAbet mit ihrem Mund formte. Aus den resultierenden Dreiecksnetzen wurde das Menschmodell erstellt. Die Software wurde auf dem Forum Sachsen Digital 2018 im Rahmen der Themenwelt ausgestellt. 6) Digitale Menschmodelle werden zur Simulation und Bewertung industrieller Arbeitsvorgänge entwickelt und evaluiert. In diesem Rahmen ist eine virtuelle Simulationsumgebung entstanden. Der Schwerpunkt ist nicht nur die adäquate Abbildung und Animation von anthropomorphen, virtuellen Arbeitern, sondern auch eine präzise Berechnung von ergonomischen Schlüsselfaktoren auf der Grundlage von anerkannten Bewertungssystemen wie RULA oder EAWS. Mit dem Scanner werden texturierte Meshes für personalisierte Avatare erfasst. 7) Tangible User Interfaces bieten neue Möglichkeiten der Interaktion mit virtuellen Objekten, deren Potential für räumliches Lernen am Beispiel eines bewegungsverfolgten Kunststoffmodells des virtuellen Herzens untersucht wurde. In einer Studie lernten in einem 2 × 2 Faktorial-Design die Teilnehmer (n = 96) die Anatomie des Herzen anhand eines 3D-Modells, das entweder mit einer Maus oder einem greifbaren Proxyobjekt gesteuert wurde, welches mit dem Scanner erzeugt worden ist. 8) Eine vollständig hierarchische Datenbank für die Handhaltung bietet die Möglichkeit, eine große Anzahl von Handposen zu berücksichtigen, während die Konstruktion eine geringe Zeit-Raum-Komplexität erfordert. Tests anhand zweier typischer Algorithmen (Zufallsentscheidungswald und umfassende Suche) zeigen, dass durch die Verwendung einer solchen Datenbank eine bessere Leistung bei den Trainings- und Suchstrategien der Klassifikatoren (zwei Hauptkategorien der Algorithmen im Bereich des maschinellen Lernens) im Vergleich zu herkömmlichen (All-in-One-Layer-) Datenbanken erreicht wird. Der Scanner wurde zum Erfassen von Handposen verwendet. 9) Die Verbesserung der Scanqualität und die Automatisierung der Scans sowie der Verarbeitung der Meshes sind zentrale Aspekte der Forschung mit dem Großgerät. In diesem Rahmen wurde u.a. die zentrale Ansteuerung aller Kameras des 360° Full Body Scanners durch eine dezentrale Lösung ersetzt, bei der jeweils 10-15 DSLR von günstigen Einplatinenrechnern (Raspberry Pi) angesteuert werden. Im Ergebnis können Aufnahmen in sehr kurzen Abständen erfolgen, so dass es nunmehr möglich ist, auch kurze Bewegungssequenzen aufzunehmen. Außerdem ist es möglich, die Beleuchtungssituation zwischen den einzelnen Aufnahmen zu variieren (Blitzgruppen / Projektion). Darauf basierend wird aktuell daran geforscht, die Rekonstruktion durch Projektion zusätzlicher Muster zu unterstützen, ohne dabei die rekonstruierte Farbtextur zu verfälschen.

Projektbezogene Publikationen (Auswahl)

 
 

Zusatzinformationen

© 2024 DFG Kontakt / Impressum / Datenschutz

Textvergrößerung und Kontrastanpassung