Perception and Processing of Applause-Like Sounds

Language
en
Document Type
Doctoral Thesis
Issue Date
2018-10-08
Issue Year
2018
Authors
Adami, Alexander
Editor
Abstract

Applause is the sound of many people gathered in one place and clapping their hands. It is an expression of enthusiasm and appreciation. In live recordings, it is a vital part evoking the notion of actual live-feeling and participation in an event. Dependent on factors like the audience size, location, and event type, applause signals can be very different in character. For very few people clapping, it consists of very sparse and well-organized isolated claps, ranging up to extremely dense and completely noise-like signals with no identifiable structure when a huge crowd is applauding. Because of this diversity and its impulsiveness, applause proved to be a very critical signal in the context of digital signal processing and in particular in perceptual audio coding. Specifically, the mixture of noise-like signal components (with large entropy), and individually perceivable and temporally fine-granular impulses provides only very little redundancy or irrelevancy that could be used for bit rate reduction. As a consequence, such signals frequently suffer from audible quantization noise due to coding that alters the perceived character of the decoded applause signal. Quantifying these perceptual differences proved to be difficult since traditionally used perceptual attributes do not address the salient properties of applause-like sounds. Finding such an attribute, however, would allow to identify and adjust corresponding signal properties, thereby enabling an improved processing of applause signals.

This thesis consists of two parts. In its first part, new insights of the psychoacoustics of applause-like sounds are presented. The question of a perceptual attribute capturing the predominant characteristics of applause sounds is also addressed by proposing and investigating density as such an attribute. In a number of perceptual experiments, the notion of the density attribute is refined by two additional subordinated attributes, and several hypotheses about spatial and temporal structures within applause sounds are explored. In the second part of the thesis, these findings are transferred into actual signal processing algorithms enabling a better suited handling of applause-like signals. As a basic building block, a novel semantic applause decomposition method into foreground claps and noise-like background is introduced and shown to be beneficial in several applications. In particular, it is applied in the prediction of an applause sound's overall density, in a novel blind mono-to-stereo upmix method that exploits elements of the spectral and temporal structure of applause-like sounds, and in a new post-processing scheme to enhance the perceived quality of perceptually coded applause signals.

Abstract

Applaus ist das Geräusch, das entsteht, wenn mehrere Personen zusammen in die Hände klatschen. Es ist ein Ausdruck der Begeisterung und Zustimmung. Insbesondere in Live-Aufnahmen ist Applaus ein wichtiger Bestandteil, um das Gefühl einer tatsächlichen Teilnahme an der Veranstaltung zu erwecken. Abhängig von Faktoren wie Besucherzahl, Ort und Art einer Veranstaltung kann Applaus einen sehr unterschiedlichen Klangcharakter aufweisen. Angefangen mit einzelnen klatschenden Personen bis hin zu einer großen applaudierenden Menschenmenge, erstreckt sich sein Charakter von vereinzelten isolierten Klatschereignissen mit deutlich wahrnehmbarem Muster bis hin zu einem extrem dichten und komplett rauschartigen Geräuschteppich ohne jegliche erkennbare Struktur. Diese Diversität und Impulshaftigkeit von Applaussignalen erschweren die digitale Signalverarbeitung und ganz besonders die wahrnehmungsbasierte Audiocodierung. Der Grund dafür liegt zum einen in der hohen Entropie der rauschartigen Signalkomponenten und zum anderen in den getrennt wahrnehmbaren, zeitlich feingranularen Impulsen. Beides zusammengenommen bietet nur sehr wenig Redundanz oder Irrelevanz, die zur Bitratenreduktion während der Codierung ausgenutzt werden könnte. Folglich kommt es besonders bei dieser Signalart häufig vor, dass das durch die Codierung hinzugefügte Quantisierungsrauschen den Charakter des decodierten Signals hörbar verändert. Allerdings gestaltet es sich schwierig, diese hörbaren Veränderungen quantitativ zu erfassen, da die bislang zur Verfügung stehenden Wahrnehmungsattribute nicht die für Applaus charakteristischen Merkmale erfassen. Stünde ein solches Attribut zur Verfügung, ließen sich die zugehörigen Signaleigenschaften identifizieren und durch deren Modifikation eine verbesserte Verarbeitung von Applaussignalen realisieren.

Die Arbeit ist in zwei Hauptteile untergliedert. Im ersten Teil werden neue Erkenntnisse aus der Psychoakustik von Applaussignalen präsentiert. Ebenso wird der Frage nach einem Wahrnehmungsattribut, das die wesentlichen Merkmale von Applaussignalen erfasst, nachgegangen. Hierzu wird Dichte als ein solches Attribut vorgeschlagen und untersucht. In einer Reihe von Experimenten wird der Begriff der Dichte noch um zwei weitere untergeordnete Wahrnehmungsattribute ergänzt und Hypothesen über zeitliche und spektrale Strukturen innerhalb applausähnlicher Geräusche untersucht. Aufbauend auf diesen Erkenntnissen werden im zweiten Teil verschiedene Anwendungsmöglichkeiten demonstriert, die das neu erworbene Wissen in eine verbesserte Verarbeitung von Applaussignalen für mehrere Fragestellungen umsetzen. Als Grundbaustein hierfür wird ein neues semantisches Zerlegungsverfahren vorgestellt, das Applaussignale in Vordergrundklatschereignisse und ein rauschartiges Hintergrundsignal zerlegt. Die Zerlegung erweist sich dabei in mehreren Anwendungen als vorteilhaft. Neben der Anwendung in einer Schätzmethode der wahrgenommenen Dichte von Applaussignalen kommt sie auch in einem neuen Mono-zu-Stereo Hochmischverfahren, das vorhandene zeitliche und spektrale Strukturen in Applausgeräuschen ausnutzt, und in einem neuen Nachbearbeitungsverfahren, das die wahrgenommene Qualität von wahrnehmungscodierten Applaussignalen verbessert, zum Einsatz.

DOI
Faculties & Collections
Zugehörige ORCIDs