Computerbasierte Analyse von Musikaufnahmen: Ein versionsübergreifender Ansatz

• Antragsteller: Professor Dr.-Ing. Christof Weiß
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 531250483

Die computerbasierte Analyse von Musikaufnahmen ist ein hochgradig interdisziplinäres Forschungsgebiet, das sowohl Fachwissen der Musikwissenschaft und Musiktheorie als auch Methoden der Signalverarbeitung und des maschinellen Lernens einbezieht. Aus Sicht der Informatik birgt die Vielfalt und Komplexität von Musikdaten enorme und spezielle Herausforderungen. Erstens ist Musik sehr facettenreich, charakterisiert durch verschiedene semantische Dimensionen wie Zeit, Tonhöhe, Klangfarbe oder Stil, die zu Gunsten interpretierbarer Darstellungen zu entkoppeln sind. Zweitens umfasst die Musikanalyse hierarchisch zusammenhängende Probleme wie die Schätzung von Tonhöhen, Akkorden, lokalen und globalen Tonarten oder die Detektion von Einsatzzeiten, Schlägen, Takt- und Strukturgrenzen, was den Einsatz von Multi-Task-Ansätzen nahelegt. Drittens sind Musikdaten komplex: Sie bestehen aus stark korrelierten Quellen, deren Komponenten in Zeit und Frequenz überlappen. Darüber hinaus sind musikalische Konzepte oft mehrdeutig und subjektiv, was interpretierbare Methoden und mehrfache Annotationen erforderlich macht. Viertens stehen in Musikszenarien oft keine großen Mengen an annotierten Daten zur Verfügung. Infolgedessen passen sich Analysemethoden häufig zu stark an implizite Eigenschaften der Trainingsdatensätze an, reagieren empfindlich auf kleine Störungen und generalisieren unzureichend auf ungesehene Daten. Die Datenknappheit stellt eine besondere Herausforderung für Deep-Learning-Ansätze dar, welche heutzutage das Feld dominieren. Diese Ansätze erzielten erhebliche Verbesserungen bei vielen Analyseaufgaben, stoßen aber oft an eine Art "gläserne Decke", über welche hinaus weitere Fortschritte nur schwer zu erreichen und zu messen sind. Um dieses Problem zu überwinden, verfolgt dieses Projekt einen versionsübergreifenden Ansatz, indem es Datensätze klassischer Musik nutzt, die für jedes Musikwerk mehrere Modalitäten (Partitur und Audio), mehrere Interpretationen (sowie Arrangements) und mehrfache Annotationen (durch mehrere Experten) bereitstellen. Solche Datensätze ermöglichen die Übertragung von Annotationen zwischen Versionen und die systematische Evaluierung der Robustheit von Deep-Learning-Methoden durch Messung ihrer Generalisierung entlang verschiedener Dimensionen, beispielsweise auf andere Versionen eines Werks, andere Werke eines Komponisten oder andere Komponisten einer Epoche. Als zentraler konzeptioneller Beitrag werden in diesem Projekt versionsübergreifende Strategien angewandt und weiterentwickelt, um die Analysemethoden besser zu verstehen und durch geeignete Trainings- und Fusionsstrategien zu verbessern. Dieser versionsübergreifende Ansatz bildet die Grundlage, um in diesem Projekt den speziellen Herausforderungen von Musikdaten zu begegnen, Analysemethoden zu erarbeiten, die insbesondere für die computergestützte Musikwissenschaft von Nutzen sind, und neuartige methodische Strategien für das breitere Feld der Digital Humanities anzuregen.

• DFG-Verfahren: Emmy Noether-Nachwuchsgruppen