Notentext-Informierte Audioparametrisierung von Musiksignalen

• Antragsteller: Professor Dr. Meinard Müller
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2013 bis 2017
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 250692544

• Erstellungsjahr: 2017

Zusammenfassung der Projektergebnisse

Musiksignale sind typischerweise komplexe Klanggemische, die sich aus der Überlagerung von einzelnen, miteinander interagierenden Instrumentalstimmen ergeben. Sogar der Klang eines einzelnen Instruments kann sich bereits aus vielen unterschiedlichen Klangkomponenten zusammensetzen, zum Beispiel aus harmonischen, perkussiven, rauschartigen und transienten Anteilen. Diese Komplexität macht die automatisierte Verarbeitung von Musiksignalen, etwa fur Aufgabenstellungen wie Time-Stretching (Stauchung oder Streckung der Lange einer Musikaufnahme) oder Quellentrennung (Zerlegung einer Musikaufnahme in Anteile die zu den einzelnen Instrumentalstimmen korrespondieren), zu einem äußerst schwierigen Problem. Im SIAMUS-Projekt sollte die Verarbeitung, Zerlegung und Parameterisierung von komplexen Musikaufnahmen dadurch erleichtert werden, dass strukturelle, akustische, oder musikalische Zusatzinformationen (z. B. spezifiziert über eine Notentextdarstellung) hinzugezogen werden sollten. Eine Kernidee, die sich systematisch durch das SIAMUS-Projekts zieht, bestand darin, die Aufnahme zunächst in mehrere mid-level Klangkomponenten zu zerlegen und diese Teilsignale anschließend separat weiterzuverarbeiten. Da die extrahierten Komponenten gewisse, von der Zerlegungstechnik vorgegebene Eigenschaften haben, lassen sich für deren Verarbeitung oft spezialisierte Techniken verwenden. Im SIAMUS-Projekt wurden verschiedene neuartige Zerlegungstechniken für Audiodaten entwickelt. Eines dieser Verfahren zerlegt beispielsweise eine Musikaufnahme in drei mid-level Komponenten, die zu den harmonischen, den perkussiven und den rauschartigen Klanganteilen der Aufnahme korrespondieren. Diese und weitere Zerlegungstechniken wurden dann verwendet, um neuartige Verfahren für Aufgabenstellungen aus den Bereichen der digitalen Audiosignalverarbeitung und des Music Information Retrievals zu entwickeln, beispielsweise zum Time-Stretching, zur Abtrennung der Singstimme aus polyphonen Musikaufnahmen, zur Analyse von Vibrato und für das Audio-Mosaicing. Weiterhin wurden erste, auf Deep Learning basierende Ansätze zur Hervorhebung von Melodie- und anderen Instrumentalstimmen erforscht. Als ein weiterer wichtiger Beitrag von praktischer Relevanz wurden mehrere prototypische Benutzerschnittstellen und Werkzeuge zur Analyse, Modifikation, Editierung und Synthese von Musikaufnahmen entwickelt und für unterschiedliche Anwendungen eingesetzt.

Projektbezogene Publikationen (Auswahl)

• Extending harmonic-percussive separation of audio signals. In Proceedings of the International Conference on Music Information Retrieval (ISMIR), 611–616, Taipei, Taiwan, 2014
  Jonathan Driedger, Meinard Müller, Sascha Disch
  
• Improving time-scale modification of music signals using harmonic-percussive separation. IEEE Signal Processing Letters, 21(1):105–109, 2014
  Jonathan Driedger, Meinard Müller, Sebastian Ewert
  
• A separate and restore approach to scoreinformed music decomposition. In Proceedings of the IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), New Paltz, New York, USA, 2015
  Christian Dittmar, Jonathan Driedger, Meinard Müller
  
• Extracting singing voice from music recordings by cascading audio decomposition techniques. In Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 126–130, Brisbane, Australia, 2015
  Jonathan Driedger, Meinard Müller
  
• Let it bee – towards NMF-inspired audio mosaicing. In Proceedings of the International Conference on Music Information Retrieval (ISMIR), 350–356, Málaga, Spain, 2015
  Jonathan Driedger, Thomas Prätzlich, Meinard Müller
  
• Verfahren zur Schätzung der Grundfrequenzverläufe von Melodiestimmen in mehrstimmigen Musikaufnahmen. In Wolfgang Auhagen, Claudia Bullerjahn, and Richard von Georgi, editors, Musikpsychologie – Anwendungsorientierte Forschung, volume 25 of Jahrbuch Musikpsychologie, 55–71. Hogrefe-Verlag, 2015
  Jonathan Driedger, Meinard Müller
  
• A review on time-scale modification of music signals. Applied Sciences, 6(2):57–82, February 2016
  Jonathan Driedger, Meinard Müller
  
• Template-based vibrato analysis of music signals. In Proceedings of the International Conference on Music Information Retrieval (ISMIR), 239–245, New York, USA, 2016
  Jonathan Driedger, Stefan Balke, Sebastian Ewert, Meinard Müller
  
• Data-driven solo voice enhancement for jazz music retrieval. In Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 196–200, 2017
  Stefan Balke, Christian Dittmar, Jakob Abeßer, Meinard Müller