Multimedia Processing Techniques for Retrieving, Extracting, and Accessing Musical Content

Techniken der Multimediaverarbeitung zur Suche, Extraktion und den Zugriff auf musikalische Inhalte

Please always quote using this URN: urn:nbn:de:bvb:29-opus4-96358
  • Music constitutes a challenging multimedia scenario. Besides music recordings, there exist a number of other media objects including symbolic music representations, video recordings, scanned sheet music, or textual metadata. Developing tools that allow users to retrieve information from different types of music-related data is central to the research area known as Music Information Retrieval (MIR). This requires techniques from various engineering fields such as digital signal processing, image processing, data management, and machine learning. In this thesis, we develop novel multimedia processing techniques and explore their capabilities and limitations within different complexMusic constitutes a challenging multimedia scenario. Besides music recordings, there exist a number of other media objects including symbolic music representations, video recordings, scanned sheet music, or textual metadata. Developing tools that allow users to retrieve information from different types of music-related data is central to the research area known as Music Information Retrieval (MIR). This requires techniques from various engineering fields such as digital signal processing, image processing, data management, and machine learning. In this thesis, we develop novel multimedia processing techniques and explore their capabilities and limitations within different complex music scenarios. The thesis consists of three main parts. In the first part, we consider retrieval scenarios within a Western classical music setting. For example, given a short monophonic melodic theme in symbolic notation as a query, retrieve all corresponding documents in a collection of polyphonic music recordings. In another related retrieval scenario, we aim to link the score of musical themes, scanned from book pages, to their symbolic counterparts given in MIDI format. Both scenarios require mid-level feature representations derived from different media types, as well as robust retrieval techniques that can handle extraction errors and variations in the data. The second part of this thesis deals with the extraction of musical parameters such as fundamental frequencies or musical pitches from audio recordings. In this context, a general goal is to reduce the variations in the degree of polyphony between monophonic queries and polyphonic music databases. In our computational approach, we propose a data-driven method based on Deep Neural Networks (DNNs) which aims at enhancing salient parts from jazz music recordings. As an example application, we employ the learned model in a retrieval scenario where we take a jazz solo transcription as a query to identify the corresponding music recording. In the third part, we explore the potential of web-based user interfaces for researchers as well as music lovers. We present several prototypical interfaces that offer various functionalities for enabling access and navigation in musical content. Furthermore, these interfaces allow researchers to show their results in an interactive fashion and reduce technical barriers when cooperating with other researchers from related fields such as musicology.show moreshow less
  • Musik stellt ein anspruchsvolles Multimediaszenario dar. Neben den Musikaufnahmen existieren eine Vielzahl von weiteren Medienobjekten (z. B. symbolisch kodierter Notentext, Videoaufnahmen, gescannte Notentextseiten und weitere textbasierte Metadaten). Die Entwicklung von Werkzeugen, die es einem Benutzer erlauben, unterschiedliche, musikalische Inhalte aufzufinden und darauf zuzugreifen, ist eine zentrale Aufgabenstellung im Bereich des Music Information Retrieval (MIR). Dies erfordert den Einsatz von Techniken aus unterschiedlichen Ingenieursfachrichtung, wie beispielsweise der digitalen Signal- und Bildverarbeitung, dem Datenmanagement oder dem maschinellen Lernen. In dieserMusik stellt ein anspruchsvolles Multimediaszenario dar. Neben den Musikaufnahmen existieren eine Vielzahl von weiteren Medienobjekten (z. B. symbolisch kodierter Notentext, Videoaufnahmen, gescannte Notentextseiten und weitere textbasierte Metadaten). Die Entwicklung von Werkzeugen, die es einem Benutzer erlauben, unterschiedliche, musikalische Inhalte aufzufinden und darauf zuzugreifen, ist eine zentrale Aufgabenstellung im Bereich des Music Information Retrieval (MIR). Dies erfordert den Einsatz von Techniken aus unterschiedlichen Ingenieursfachrichtung, wie beispielsweise der digitalen Signal- und Bildverarbeitung, dem Datenmanagement oder dem maschinellen Lernen. In dieser Arbeit entwickeln wir neuartige Techniken der Multimediaverarbeitung und untersuchen das Leistungsvermögen als auch die Grenzen dieser Techniken in verschiedenen, komplexen Musikszenarien. Die Arbeit besteht aus drei Teilen. Der erste Teil der Arbeit beschäftigt sich mit der automatisierten Musiksuche im Kontext von klassischer Musik. Ein Ziel besteht darin, die zu einem kurzen, monophonen Musikthema zugehörigen Musikaufnahmen in einem polyphonen Musikdatenbestand zu identifizieren. In einem ähnlichen Suchszenario verknüpfen wir Musikthemen mit den zugehörigen Buchseiten, die in gescannter Form vorliegen. Für beide Szenarien werden geeignete Merkmalsdarstellungen benötigt, die zum einen die unterschiedlichen Medientypen zusammenführen können und zum anderen robust gegen Extraktionsfehler und Variabilitäten in den Daten sind. Der zweite Teil handelt von der Extraktion musikalischer Parameter aus den Audioaufnahmen (z. B. der Grundfrequenz oder Tonhöhe). Im Zuge dieser Arbeit besteht ein Ziel darin, die unterschiedlichen Polyphoniegrade monophoner Anfragen und polyphoner Musikdatenbestände anzugleichen. In unserem datengetriebenen Ansatz trainieren wir dazu Neuronale Netzwerke, die dominante Melodien in Jazzaufnahmen verstärken. In einer Beispielapplikation benutzen wir das trainierte Modell in einem Suchszenario, bei dem Jazzsolotranskription als Anfragen verwendet werden, um die dazugehörigen Musikaufnahmen zu identifizieren. Im dritten Part untersuchen wir das Potenzial webbasierter Benutzerschnittstellen für die Verwendung von Wissenschaftlern sowie Musikliebhabern. Dafür stellen wir prototypische Schnittstellen vor, die eine Vielzahl an Funktionalitäten für den Zugriff auf und die Navigation in musikalischen Inhalten ermöglichen. Diese Benutzerschnittstellen erlauben es, wissenschaftliche Ergebnisse interaktiv darzustellen und zudem einen einfachen Zugriff zu ermöglichen, beispielsweise bei interdisziplinären Kooperationen mit den Musikwissenschaften.show moreshow less

Download full text files

Export metadata

Additional Services

Share in Twitter Search Google Scholar Statistics
Metadaten
Author:Stefan BalkeORCiD
URN:urn:nbn:de:bvb:29-opus4-96358
Referee:Meinard Müller, Gerhard Widmer
Advisor:Meinard Müller
Document Type:Doctoral Thesis
Language:English
Year of Completion:2018
Embargo Date:2018/04/12
Publishing Institution:Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)
Granting Institution:Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU), Technische Fakultät
Date of final exam:2018/03/21
Release Date:2018/04/23
Tag:Music Information Retrieval
SWD-Keyword:Akustische Signalverarbeitung; Benutzerschnittstelle; Maschinelles Lernen; Musiksignal; Retrievalsystem
Pagenumber:146
Institutes:Technische Fakultät
CCS-Classification:H. Information Systems / H.3 INFORMATION STORAGE AND RETRIEVAL / H.3.3 Information Search and Retrieval
H. Information Systems / H.5 INFORMATION INTERFACES AND PRESENTATION (e.g., HCI) (I.7) / H.5.1 Multimedia Information Systems / Audio input/output
H. Information Systems / H.5 INFORMATION INTERFACES AND PRESENTATION (e.g., HCI) (I.7) / H.5.2 User Interfaces (D.2.2, H.1.2, I.3.6) / Graphical user interfaces (GUI) (NEW)
H. Information Systems / H.5 INFORMATION INTERFACES AND PRESENTATION (e.g., HCI) (I.7) / H.5.5 Sound and Music Computing (J.5) (NEW) / Signal analysis, synthesis, and processing (NEW)
Dewey Decimal Classification:0 Informatik, Informationswissenschaft, allgemeine Werke / 00 Informatik, Wissen, Systeme / 004 Datenverarbeitung; Informatik
open_access (DINI-Set):open_access
Licence (German):Keine Creative Commons Lizenz - es gilt der Veröffentlichungsvertrag und das deutsche Urheberrecht