Automatisierte Erschließung von Musikdokumenten unter Ausnutzung verschiedener Darstellungsformen
Final Report Abstract
Das Kernziel des ARMADA-Projektes war die Entwicklung innovativer Verfahren und Methoden zur automatischen Erschließung großer Musikkollektionen. Im Gegensatz zu bisherigen Ansätzen sollte dabei systematisch ausgenutzt werden, dass Musik in verschiedenen Darstellungsformen (Audio, Bilddaten, symbolische Partiturdaten, Text) vorliegen kann. Um diese verschiedenen Informationsquellen nutzbar zu machen, stand vor allem die Entwicklung effizienter und robuster Verlinkungs- und Synchronisationsverfahren im Vordergrund. So wurden im Verlauf des Projektes innovative Methoden entwickelt, die auch in komplexen und anspruchsvollen Synchronisationsszenarien robust zu Ergebnissen führen. Ein Kernmerkmal vieler ARMADA-Verfahren war dabei die Entwicklung von anwendungsspezifischen Audiomerkmalen, welche oftmals zu signifikanten Fortschritten im Kontext von Matching und Synchronisationsaufgaben geführt haben. Auf Basis dieser Kerntechnologien konnten vielfältige, neuartige Methoden zur Automatisierung von Prozessen in Content Management Systemen entwickelt werden. Ebenfalls unter Ausnutzung der robusten Synchronisationstechniken wurden innovative Audio-Quellentrennungsverfahren entwickelt, welche vorhandene Partiturinformationen ausnutzen, um gezielt einzelne Klangquellen aus Audioaufnahmen zu extrahieren. Viele der Entwicklungen wurden dabei in einem von uns entwickelten prototypischen Content Management System (Score-Lyrics-Audio-Video Explorer SLAVE) implementiert und getestet. Weitere Kerntechniken wurden zudem in Form von MATLAB-Implementierungen der internationalen Forschergemeinschaft zur Verfügung gestellt. Es zeigte sich im Verlaufe des Projektes jedoch auch, dass die Synchronisation unter Variabilitäten in Polyphonie und Harmonie in ihrer Komplexität zunächst unterschätzt wurde. So konnten zwar einige Szenarien identifiziert werden, in denen sich selbst klassische Synchronisationsverfahren weitestgehend invariant gegenüber solchen Unterschieden verhalten. Im Allgemeinen können solche Unterschiede aber sehr komplex ausfallen, so dass eine robuste Synchronisation nicht immer garantiert werden kann. In solchen Fällen bedarf es Techniken, die den Zugriff auf einzelne musikalische Elemente, wie einer Melodie oder der Harmonie, erlauben und damit deren Vergleich erst ermöglichen. Aus diesem Grund wurde die Quellentrennung als zusätzliche Aufgabenstellung in das ARMADA-Projekt miteinbezogen. Aufgrund der Komplexität solcher Verfahren konnen die im ARMADA-Projekt entwickelten Quellentrennungsverfahren jedoch nicht als abgeschlossen betrachtet werden. Vielmehr zeigte sich, dass das ARMADA-Prinzip der systematischen Ausnutzung unterschiedlicher Darstellungsformen von Musik auch in diesem Kontext einen äußerst vielversprechenden Lösungsansatz darstellt, der in Folgeprojekten genauer untersucht werden sollte.
Publications
- Chroma Toolbox: MATLAB Implementations for Extracting Variants of Chroma-based Audio Features. In Proceedings of the 12th International Conference on Music Information Retrieval (ISMIR), pages 215–220, Miami, USA, 2011
Meinard M¨ller, Sebastian Ewert
- OCR-based Post-Processing of OMR for the Recovery of Transposing Instruments in Complex Orchestral Scores. In Proceedings of the 12th International Conference on Music Information Retrieval (ISMIR), pages 411–416, Miami, USA, 2011
Verena Thomas, Christian Wagner, Michael Clausen
- A Digital Library Framework for Heterogeneous Music Collections – from Document Acquisition to Cross-Modal Interaction. International Journal on Digital Libraries: Special Issue on Music Digital Libraries, Vol. 12 (2-3), pages 53-71, 2012
David Damm, Christian Fremerey, Verena Thomas, Michael Clausen, Frank Kurth, Meinard Müller
- Linking Sheet Music and Audio – Challenges and New Approaches. In Multimodal Music Processing, Vol. 3, Dagstuhl Follow-Ups, pp. 1-22, Dagstuhl, Germany, 2012
Verena Thomas, Christian Fremerey, Meinard Müller, Michael Clausen
- Towards Cross-Version Harmonic Analysis of Music. IEEE Transactions on Multimedia, Vol. 14 (3), pages 770-782, 2012
Sebastian Ewert, Meinard Müller, Verena Konz, Daniel Müllensiefen, Gerraint A. Wiggins
- Using Score-Informed Constraints for NMF-based Source Separation. In Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), pages 129–132, Kyoto, Japan, 2012
Sebastian Ewert and Meinard Müller
