Detailseite
Projekt Druckansicht

Deep Learning für robuste audiovisuelle Signalverarbeitung (A06)

Fachliche Zuordnung Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
Kognitive, systemische und Verhaltensneurobiologie
Förderung Förderung seit 2020
Projektkennung Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 261402652
 
Projekt A6 entwickelt neuartige Algorithmen zur gemeinsamen Verarbeitung von akustischen und visuellen Merkmalen mit dem Ziel eine verbesserte Verarbeitung in beiden Domänen zu erreichen. Es werden Methoden entwickelt die auch bei unübersichtlichen Daten aus der Praxis robust sind. Das schließt Robustheit bei einer Vielzahl von realen Geräuschtypen ein, aber auch Robustheit gegenüber bewusst gestalteten Störquellen, sogenanntem adversarial noise. Mit Hilfe von Aufmerksamkeitsmechanismen und dem Prinzip des Informationsgewinns bestimmen wir, welche Teile der Daten am vielversprechendsten für die folgende Verarbeitung sind. Schließlich werden visuelle und akustische Daten gemeinsam verarbeitet um eine verbesserte akustische Quellentrennung und Sprachverbesserung zu erreichen. Die entwickelten Methoden werden in ein multimodales Robotersystem integriert, was die Berücksichtigung praktischer Beschränkungen wie begrenzte Trainingsdaten, begrenzte Rechenkapazität und Echtzeitanforderungen erfordert.
DFG-Verfahren Transregios
Internationaler Bezug China
Antragstellende Institution Universität Hamburg
 
 

Zusatzinformationen

Textvergrößerung und Kontrastanpassung