Score-Informed Audio Parameterization of Music Signals

• Applicant: Professor Dr. Meinard Müller
• Subject Area: Image and Language Processing, Computer Graphics and Visualisation, Human Computer Interaction, Ubiquitous and Wearable Computing
• Term: from 2013 to 2017
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 250692544

• Final Report Year: 2017

Final Report Abstract

Musiksignale sind typischerweise komplexe Klanggemische, die sich aus der Überlagerung von einzelnen, miteinander interagierenden Instrumentalstimmen ergeben. Sogar der Klang eines einzelnen Instruments kann sich bereits aus vielen unterschiedlichen Klangkomponenten zusammensetzen, zum Beispiel aus harmonischen, perkussiven, rauschartigen und transienten Anteilen. Diese Komplexität macht die automatisierte Verarbeitung von Musiksignalen, etwa fur Aufgabenstellungen wie Time-Stretching (Stauchung oder Streckung der Lange einer Musikaufnahme) oder Quellentrennung (Zerlegung einer Musikaufnahme in Anteile die zu den einzelnen Instrumentalstimmen korrespondieren), zu einem äußerst schwierigen Problem. Im SIAMUS-Projekt sollte die Verarbeitung, Zerlegung und Parameterisierung von komplexen Musikaufnahmen dadurch erleichtert werden, dass strukturelle, akustische, oder musikalische Zusatzinformationen (z. B. spezifiziert über eine Notentextdarstellung) hinzugezogen werden sollten. Eine Kernidee, die sich systematisch durch das SIAMUS-Projekts zieht, bestand darin, die Aufnahme zunächst in mehrere mid-level Klangkomponenten zu zerlegen und diese Teilsignale anschließend separat weiterzuverarbeiten. Da die extrahierten Komponenten gewisse, von der Zerlegungstechnik vorgegebene Eigenschaften haben, lassen sich für deren Verarbeitung oft spezialisierte Techniken verwenden. Im SIAMUS-Projekt wurden verschiedene neuartige Zerlegungstechniken für Audiodaten entwickelt. Eines dieser Verfahren zerlegt beispielsweise eine Musikaufnahme in drei mid-level Komponenten, die zu den harmonischen, den perkussiven und den rauschartigen Klanganteilen der Aufnahme korrespondieren. Diese und weitere Zerlegungstechniken wurden dann verwendet, um neuartige Verfahren für Aufgabenstellungen aus den Bereichen der digitalen Audiosignalverarbeitung und des Music Information Retrievals zu entwickeln, beispielsweise zum Time-Stretching, zur Abtrennung der Singstimme aus polyphonen Musikaufnahmen, zur Analyse von Vibrato und für das Audio-Mosaicing. Weiterhin wurden erste, auf Deep Learning basierende Ansätze zur Hervorhebung von Melodie- und anderen Instrumentalstimmen erforscht. Als ein weiterer wichtiger Beitrag von praktischer Relevanz wurden mehrere prototypische Benutzerschnittstellen und Werkzeuge zur Analyse, Modifikation, Editierung und Synthese von Musikaufnahmen entwickelt und für unterschiedliche Anwendungen eingesetzt.

Publications

• Extending harmonic-percussive separation of audio signals. In Proceedings of the International Conference on Music Information Retrieval (ISMIR), 611–616, Taipei, Taiwan, 2014
  Jonathan Driedger, Meinard Müller, Sascha Disch
  
• Improving time-scale modification of music signals using harmonic-percussive separation. IEEE Signal Processing Letters, 21(1):105–109, 2014
  Driedger, Jonathan; Muller, Meinard & Ewert, Sebastian
  
• A separate and restore approach to scoreinformed music decomposition. In Proceedings of the IEEE Workshop on Applications of Signal Processing to Audio and Acoustics (WASPAA), New Paltz, New York, USA, 2015
  Dittmar, Christian; Driedger, Jonathan & Muller, Meinard
  
• Extracting singing voice from music recordings by cascading audio decomposition techniques. In Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 126–130, Brisbane, Australia, 2015
  Driedger, Jonathan & Muller, Meinard
  
• Let it bee – towards NMF-inspired audio mosaicing. In Proceedings of the International Conference on Music Information Retrieval (ISMIR), 350–356, Málaga, Spain, 2015
  Jonathan Driedger, Thomas Prätzlich, Meinard Müller
  
• Verfahren zur Schätzung der Grundfrequenzverläufe von Melodiestimmen in mehrstimmigen Musikaufnahmen. In Wolfgang Auhagen, Claudia Bullerjahn, and Richard von Georgi, editors, Musikpsychologie – Anwendungsorientierte Forschung, volume 25 of Jahrbuch Musikpsychologie, 55–71. Hogrefe-Verlag, 2015
  Jonathan Driedger, Meinard Müller
  
• A review on time-scale modification of music signals. Applied Sciences, 6(2):57–82, February 2016
  Driedger, Jonathan & Müller, Meinard
  
• Template-based vibrato analysis of music signals. In Proceedings of the International Conference on Music Information Retrieval (ISMIR), 239–245, New York, USA, 2016
  Jonathan Driedger, Stefan Balke, Sebastian Ewert, Meinard Müller
  
• Data-driven solo voice enhancement for jazz music retrieval. In Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 196–200, 2017
  Balke, Stefan; Dittmar, Christian; Abesser, Jakob & Muller, Meinard