Agentenbasierte, Interaktive, Tiefe 0-shot-learning-Netzwerke zur Optimierung von Ontologischem Klangverständnis in Maschinen

• Antragsteller: Professor Dr.-Ing. Björn Schuller
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2020
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 442218748

Klanglandschaften (Soundscapes) sind Bestandteil unseres akustischen Alltags; wir sind immer von Klängen umgeben, wir reagieren auf sie und erzeugen sie. Während maschinelles Hören insbesondere durch die Sprachanalyse vorangebracht wurde, hat das maschinelle Verstehen von Klanglandschaften bisher relativ wenig Aufmerksamkeit erhalten. AUDI0NOMOUS zielt darauf ab, einen Durchbruch in der Analyse, der Kategorisierung und dem Verstehen von alltäglichen Klanglandschaften zu erreichen. Um dieses anspruchsvolle Ziel zu verwirklichen, wird ein neuartiger Ansatz angestrebt, der auf vier kooperativen, interaktiven und intelligenten Agenten basiert, welche jeweils autonom arbeiten und zu dem ganzheitlichen Verständnis von Klang beitragen: Ein Curious Agent sammelt neue Daten aus verschiedenen Web- und Social-Media-Quellen; Ein Audio Decomposition Agent trennt sich überlappende Klänge; Ein Learning Agent klassifiziert bislang unbekannte Klänge; Ein Ontology Agent übersetzt Klanglandschaften in verbale Ontologien. Das Projekt AUDI0NOMOUS wird eine völlig neue Dimension des Audio-Verstehens eröffnen, was eine umfassende Bedeutung für verschiedene Disziplinen sowohl in den Natur- als auch in den Geisteswissenschaften haben wird, indem es Entwicklungen, u.a. im Gesundheitswesen, in der Robotik, und in Smart Cities, antreibt.

• DFG-Verfahren: Reinhart Koselleck-Projekte