Automatisierte Methoden und Werkzeuge zur Analyse und Strukturierung von Chormusik

• Antragsteller: Professor Dr. Meinard Müller
• Fachliche Zuordnung: Bild- und Sprachverarbeitung, Computergraphik und Visualisierung, Human Computer Interaction, Ubiquitous und Wearable Computing
• Förderung: Förderung von 2017 bis 2021
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 372251794

• Erstellungsjahr: 2021

Zusammenfassung der Projektergebnisse

Durch die zunehmende Digitalisierung entstehen große Musikkollektionen, die neben Audio- und Videoaufnahmen auch symbolisch oder grafisch kodierte Notentexte enthalten. Ein Beispiel hierfür ist das multimediale Musikangebot des Carus-Verlag, einem im Bereich der geistlichen und weltlichen Chormusik international führenden Musikverlag, der neben seinem Angebot von sorgfältig edierten Notenausgaben für mehr als 30,000 Chorwerke auch Referenzeinspielungen produziert und Videos für Unterrichts- und Übezwecke entwickelt. Allgemein gesprochen ist das Hauptziel des Music Information Retrieval (MIR) die Entwicklung effzienter Such- und Navigationssysteme, die es dem Benutzer erlauben, komplexe Musikdatenbestände bezüglich unterschiedlicher musikrelevanter Aspekte zu durchsuchen. Bei dem vorliegendem Transferprojekt ”Automatisierte Methoden und Werkzeuge zur Analyse und Strukturierung von Chormusik” (AnChor) wurden unterschiedliche MIR-Verfahren erforscht und in der Praxis erprobt. Als ein erster zentraler Beitrag wurden webbasierte Benutzerschnittstellen entwickelt, die einen interaktiven und synchronen Zugriff auf unterschiedliche Musikdarstellungen und Analyseergebnisse erlauben. Diese Schnittstellen sind nicht nur für mögliche kommerzielle Weiterentwicklungen von Interesse, sondern dienen auch der Kommunikation von Forschungsergebnissen über unterschiedliche Disziplinen hinweg. Ein wichtiger Forschungsschwerpunkt bestand in der Entwicklung inhaltsbasierter Suchverfahren, bei denen ein Benutzer eine Anfrage in Form eines kurzen Audioausschnitts oder eines YouTube-Links (z. B. eine Choraufnahme gesungen von einem Laienchor) stellt. Die Aufgabe besteht dann darin, automatisch, rein auf Basis der akustischen Wellenform, alle anderen Interpretationen oder Versionen des Musikstücks in einer vorgegebenen Kollektion zu identifizieren (z. B. eine hochqualitative Aufnahme eines professionellen Chors im Carus-Katalog). Durch den Einsatz von auf neuronalen Netzwerken basierender Einbettungstechniken in Kombination mit graphenbasierten Indexierungstechniken konnten im AnChor-Projekt erhebliche Verbesserungen hinsichtlich der benötigten Laufzeit und des Speicherplatzbedarfs solcher Suchverfahren erzielt werden. In einem weiteren Forschungsschwerpunkt wurden automatisierte Methoden zur Messung, Analyse und Anpassung von Intonationsschwankungen in unbegleiteter, mehrstimmiger Vokalmusik erforscht. Schließlich wurden, auf Basis der mit dem Projektpartner gesammelten Erfahrungen, Musikdatensätze entwickelt, annotiert und füur Forschungszwecke frei verfügbar gemacht, die für die Erforschung und Auswertung algorithmischer Ansätze für ganz unterschiedliche MIR Aufgaben (z. B. Musiktranskription, Musiksynchronisation, Akkorderkennung, Fundamentalfrequenzschätzung und Intonationsanalyse) von großem wissenschaftlichen Wert sind. Durch die Zusammenarbeit mit dem Carus-Verlag konnten darüber hinaus Querverbindungen zur Musikpädagogik und zu den Musikwissenschaften hergestellt und weitere interdisziplinäre Kooperationen initiiert beziehungsweise unterstützt werden.

Projektbezogene Publikationen (Auswahl)

• (2018). A web-based interface for score following and track switching in choral music. In Demos and Late Breaking News of the International Society for Music Information Retrieval Conference (ISMIR), Paris, France
  Zalkow, F., Rosenzweig, S., Graulich, J., Dietz, L., Lemnaouar, E. M., and Müller, M.
  
• (2018). Bridging the Gap: Enriching YouTube videos with jazz music annotations. Frontiers in Digital Humanities, 5:1–11
  Balke, S., Dittmar, C., Abeßer, J., Frieler, K., Pfleiderer, M., and Müller, M.
  
• (2019). Tools for semiautomatic bounding box annotation of musical measures in sheet music. In Demos and Late Breaking News of the International Society for Music Information Retrieval Conference (ISMIR), Delft, The Netherlands
  Zalkow, F., Corrales, A. V., Tsai, T., Arifi-Müller, V., and Müller, M.
  
• (2019). Towards measuring intonation quality of choir recordings: A case study on Bruckner’s Locus Iste. In Proceedings of the International Society for Music Information Retrieval Conference (ISMIR), pages 276–283, Delft, The Netherlands
  Weiß, C., Schlecht, S. J., Rosenzweig, S., and Müller, M.
  
• (2020). Dagstuhl ChoirSet: A multitrack dataset for MIR research on choral singing. Transactions of the International Society for Music Information Retrieval (TISMIR), 3(1):98–110
  Rosenzweig, S., Cuesta, H., Weiß, C., Scherbaum, F., Gómez, E., and Müller, M.
  
• (2020). Learning low-dimensional embeddings of audio shingles for crossversion retrieval of classical music. Applied Sciences, 10(1)
  Zalkow, F. and Müller, M.
  
• (2020). TuneIn: A web-based interface for practicing choral parts. In Demos and Late Breaking News of the International Society for Music Information Retrieval Conference (ISMIR), Montreal, Canada
  Rosenzweig, S., Dietz, L., Graulich, J., and Müller, M.
  
• (2021). Efficient retrieval of music recordings using graph-based index structures. Signals, 2(2):336–352
  Zalkow, F. and Müller, M.
  
• (2021). Schubert Winterreise dataset: A multimodal scenario for music analysis. ACM Journal on Computing and Cultural Heritage (JOCCH), 15(2):25:1–18
  Weiß, C., Zalkow, F., Arifi-Müller, V., Müller, M., Koops, H. V., Volk, A., and Grohganz, H.