Multimedia Processing Techniques for Retrieving, Extracting, and Accessing Musical Content
Techniken der Multimediaverarbeitung zur Suche, Extraktion und den Zugriff auf musikalische Inhalte
Please always quote using this URN: urn:nbn:de:bvb:29-opus4-96358
- Music constitutes a challenging multimedia scenario. Besides music recordings,
there exist a number of other media objects including symbolic music representations,
video recordings, scanned sheet music, or textual metadata. Developing tools that
allow users to retrieve information from different types of music-related data
is central to the research area known as Music Information Retrieval (MIR).
This requires techniques from various engineering fields such as digital signal processing,
image processing, data management, and machine learning.
In this thesis, we develop novel multimedia processing techniques and explore their capabilities
and limitations within different complexMusic constitutes a challenging multimedia scenario. Besides music recordings,
there exist a number of other media objects including symbolic music representations,
video recordings, scanned sheet music, or textual metadata. Developing tools that
allow users to retrieve information from different types of music-related data
is central to the research area known as Music Information Retrieval (MIR).
This requires techniques from various engineering fields such as digital signal processing,
image processing, data management, and machine learning.
In this thesis, we develop novel multimedia processing techniques and explore their capabilities
and limitations within different complex music scenarios. The thesis consists of three main parts.
In the first part, we consider retrieval scenarios within a Western classical music setting.
For example, given a short monophonic melodic theme in symbolic notation as a query,
retrieve all corresponding documents in a collection of polyphonic music recordings.
In another related retrieval scenario, we aim to link the score of musical themes,
scanned from book pages, to their symbolic counterparts given in MIDI format.
Both scenarios require mid-level feature representations derived from different media types,
as well as robust retrieval techniques that can handle extraction errors and variations
in the data.
The second part of this thesis deals with the extraction of musical parameters such as
fundamental frequencies or musical pitches from audio recordings.
In this context, a general goal is to reduce the variations in the degree of polyphony
between monophonic queries and polyphonic music databases. In our computational approach,
we propose a data-driven method based on Deep Neural Networks (DNNs) which aims at enhancing
salient parts from jazz music recordings. As an example application, we employ the
learned model in a retrieval scenario where we take a jazz solo transcription as a query
to identify the corresponding music recording.
In the third part, we explore the potential of web-based user interfaces for researchers
as well as music lovers. We present several prototypical interfaces that offer various
functionalities for enabling access and navigation in musical content.
Furthermore, these interfaces allow researchers to show their results in an interactive
fashion and reduce technical barriers when cooperating with other researchers from
related fields such as musicology.…
- Musik stellt ein anspruchsvolles Multimediaszenario dar. Neben den Musikaufnahmen existieren
eine Vielzahl von weiteren Medienobjekten (z. B. symbolisch kodierter Notentext, Videoaufnahmen,
gescannte Notentextseiten und weitere textbasierte Metadaten).
Die Entwicklung von Werkzeugen, die es einem Benutzer erlauben, unterschiedliche,
musikalische Inhalte aufzufinden und darauf zuzugreifen, ist eine zentrale Aufgabenstellung
im Bereich des Music Information Retrieval (MIR). Dies erfordert den Einsatz von Techniken aus
unterschiedlichen Ingenieursfachrichtung, wie beispielsweise der digitalen
Signal- und Bildverarbeitung, dem Datenmanagement oder dem maschinellen Lernen.
In dieserMusik stellt ein anspruchsvolles Multimediaszenario dar. Neben den Musikaufnahmen existieren
eine Vielzahl von weiteren Medienobjekten (z. B. symbolisch kodierter Notentext, Videoaufnahmen,
gescannte Notentextseiten und weitere textbasierte Metadaten).
Die Entwicklung von Werkzeugen, die es einem Benutzer erlauben, unterschiedliche,
musikalische Inhalte aufzufinden und darauf zuzugreifen, ist eine zentrale Aufgabenstellung
im Bereich des Music Information Retrieval (MIR). Dies erfordert den Einsatz von Techniken aus
unterschiedlichen Ingenieursfachrichtung, wie beispielsweise der digitalen
Signal- und Bildverarbeitung, dem Datenmanagement oder dem maschinellen Lernen.
In dieser Arbeit entwickeln wir neuartige Techniken der Multimediaverarbeitung und
untersuchen das Leistungsvermögen als auch die Grenzen dieser Techniken in verschiedenen,
komplexen Musikszenarien. Die Arbeit besteht aus drei Teilen.
Der erste Teil der Arbeit beschäftigt sich mit der automatisierten Musiksuche im Kontext
von klassischer Musik. Ein Ziel besteht darin, die zu einem kurzen, monophonen Musikthema
zugehörigen Musikaufnahmen in einem polyphonen Musikdatenbestand zu identifizieren.
In einem ähnlichen Suchszenario verknüpfen wir Musikthemen mit den zugehörigen Buchseiten,
die in gescannter Form vorliegen. Für beide Szenarien werden geeignete Merkmalsdarstellungen
benötigt, die zum einen die unterschiedlichen Medientypen zusammenführen können und
zum anderen robust gegen Extraktionsfehler und Variabilitäten in den Daten sind.
Der zweite Teil handelt von der Extraktion musikalischer Parameter aus den
Audioaufnahmen (z. B. der Grundfrequenz oder Tonhöhe). Im Zuge dieser Arbeit besteht
ein Ziel darin, die unterschiedlichen Polyphoniegrade monophoner Anfragen und polyphoner
Musikdatenbestände anzugleichen. In unserem datengetriebenen Ansatz trainieren wir dazu
Neuronale Netzwerke, die dominante Melodien in Jazzaufnahmen verstärken.
In einer Beispielapplikation benutzen wir das trainierte Modell in einem Suchszenario,
bei dem Jazzsolotranskription als Anfragen verwendet werden, um die dazugehörigen
Musikaufnahmen zu identifizieren.
Im dritten Part untersuchen wir das Potenzial webbasierter Benutzerschnittstellen für
die Verwendung von Wissenschaftlern sowie Musikliebhabern. Dafür stellen wir prototypische
Schnittstellen vor, die eine Vielzahl an Funktionalitäten für den Zugriff auf und die
Navigation in musikalischen Inhalten ermöglichen. Diese Benutzerschnittstellen erlauben es,
wissenschaftliche Ergebnisse interaktiv darzustellen und zudem einen einfachen Zugriff
zu ermöglichen, beispielsweise bei interdisziplinären Kooperationen mit den Musikwissenschaften.…