Informed spatial filters for speech enhancement: Noise and Interference Reduction, Blind Source Separation, and Acoustic Source Tracking

Language
en
Document Type
Doctoral Thesis
Issue Date
2018-02-05
Issue Year
2018
Authors
Taseska, Maja
Editor
Abstract

In modern devices which provide hands-free speech capturing functionality, such as hands-free communication kits and voice-controlled devices, the received speech signal at the microphones is corrupted by background noise, interfering speech signals, and room reverberation. In many practical situations, the microphones are not necessarily located near the desired source, and hence, the ratio of the desired speech power to the power of the background noise, the interfering speech, and the reverberation at the microphones can be very low, often around or even below 0 dB. In such situations, the comfort of human-to-human communication, as well as the accuracy of automatic speech recognisers for voice-controlled applications can be significantly degraded. Therefore, e↵ective speech enhancement algorithms are required to process the microphone signals before transmitting them to the far-end side for communication, or before feeding them into a speech recognition engine. This thesis is concerned with multi-microphone speech enhancement in reverberant environments, in the presence of background noise and non-stationary interferers, such as interfering speakers. The desired speech signal that needs to be enhanced is usually application-dependent and can originate from one or multiple speakers. The background noise and the non-stationary interferers, constitute undesired signals. Specific tasks of interest in this thesis are undesired signal reduction, Blind Source Separation (BSS), and acoustic source detection and tracking. While single-channel speech enhancement and noise reduction have been extensively studied for more than four decades, efficient solutions to challenging problems such as BSS, acoustic source tracking, and speech enhancement in scenarios with multiple speech sources, have emerged more recently as a result of the rapid development in multi-channel speech processing and the availability of multiple microphones in commercial products, e.g., mobile phones, laptops, smart watches, hearing aids, etc. The spatial diversity provided by multiple microphones allows to reduce strong non-stationary undesired signals, while introducing little, or no distortion to the desired speech. In multi-microphone speech enhancement systems, spatio-temporal filters (beamformers) are applied to the microphone signals to obtain an estimate of the desired speech signal. A spatio-temporal filter is a processor which linearly combines the received microphone signals to provide the desired signal estimate. Commonly used optimality criteria for spatio-temporal filter design, require knowledge of the spatio-temporal Second- Order Statistics (SOS) of the desired and undesired signals received at the microphones. As the SOS are often unavailable and time-varying in practice, their estimation from the microphone signals is on of the most important factors that determine the quality of the desired signal estimate at the filter output. In general, the SOS need to be estimated in a supervised manner from the microphone signals, such that the SOS of the desired signal are estimated when the desired signal is present and the SOS of the undesired signals are estimated when the desired signal is absent. Hence, an accurate desired signal detector is a fundamental building block for implementation of data-dependent spatio-temporal filters in practice. Although the theory of optimal filter design for speech applications is a mature field, in many books and contributions it is often assumed that the SOS are available, or that they can be estimated in advance in stationary scenarios. However, the implementation of optimal filters in dynamic scenarios typical for real applications, and the importance of signal detection and online SOS estimation has been less often addressed in the literature. In this thesis, we address the design of data-dependent speech enhancement frameworks in a range of applications. We propose several application-specific frameworks, each of which constitutes of designing an appropriate desired signal detector, estimating the SOS of the desired and undesired signals using the detector output, and computing optimal data-dependent spatial filters to estimate the speech signal of interest while reducing undesired signals. As the optimal filters are computed in a supervised manner using the signal detectors, they are referred to as Informed Spatial Filters (ISFs). An underlying assumption for the design of the proposed detectors and ISFs is the speech sparsity in the Short-Time Fourier Transform (STFT) domain, which means that with a suitably chosen time and frequency resolution of the STFT, each Time- Frequency (TF) bin is dominated by either a single speech source or background noise. Based on this assumption, signal detection is performed at each TF bin, followed by an update of the SOS statistics corresponding to the dominant source at that TF bin. The estimated SOS are then used to compute optimal, time-varying ISFs to extract the desired signals. The ISFs obtained in this manner, are able to almost instantaneously adapt to changing acoustic conditions, such as time-varying locations of the desired and the undesired sources and time-varying noise statistics. Using the informed spatial filtering concept, we develop a general system which by properly designing its building blocks, is applied to a range of applications, including noise reduction, spatially selective sound acquisition, and online BSS of static and moving sources.

Abstract

In modernen Kommunikationsger¨aten mit Freisprecheinrichtung, wie z. B. Freisprechanlagen und ferngesteuerten Ger¨aten, wird das von Mikrofonen empfangene Sprachsignal durch Hintergrundrauschen, st¨orende Sprachsignale und Raumnachhall verzerrt. Da sich dieMikrofone oft nicht in der N¨ahe der gew¨unschten Quelle befinden, kann das Verh¨altnis zwischen der gew¨unschten Sprachleistung und der Leistung von Hintergrundrauschen, st¨orender Sprache und Nachhall an den Mikrofonen sehr niedrig sein, oft in der Region um oder sogar unterhalb 0 dB. In solchen Situationen kann der subjektive H¨orkomfort einer Kommunikation sowie die Pr¨azision von automatischen Spracherkennern deutlich verschlechtert werden. Daher sind Algorithmen zur Sprachverbesserung erforderlich, um die Mikrofonsignale zu verarbeiten, bevor sie zur Kommunikation ¨ubertragen werden oder als Eingangsignal eines Spracherkenners verwendet werden. Diese Arbeit besch¨aftigt sich mit der Verbesserung von Sprachsignalen unter Verwendung mehrerer Mikrofone in halligen Umgebungen mit Nachhall, Hintergrundrauschen und nicht-station¨aren interferierenden Schallquellen, wie z. B. unerw¨unschten Sprechern. Das zu extrahierende gew¨unschte Sprachsignal ist in der Regel anwendungsabh¨angig und kann von einem oder mehreren Sprechern stammen. Das Hintergrundrauschen und die nicht-station¨aren St¨orsignale stellen hingegen unerw¨unschte Signale dar. Besondere Aufgaben in dieser Arbeit sind die Reduktion von unerw¨unschten Signalkomponenten, blinde Quellentrennung, und Detektion und Verfolgung von akustischen Quellen. W¨ahrend Methoden zur Einkanal-Sprachverbesserung und zur Rauschunterdr¨uckung sind seit mehr als vier Jahrzehnten intensiv untersucht worden, dagegen sind effiziente L¨osungen f¨ur die anspruchsvolleren Probleme der blinde Quellentrennung, akustischen Quellenverfolgung und Sprachverbesserung in Szenarien mit mehreren Sprachquellen erst vor kurzem entwickelt worden. Dies ist ein Ergebnis der rasanten Entwicklung in der Mehrkanal-Sprachverarbeitung und der Verf¨ugbarkeit von mehreren Mikrofonen in kommerziellen Produkten, z. B. Mobiltelefonen, Laptops, Smart-Uhren, H¨orger ¨aten usw. Die r¨aumliche Information, die von mehreren Mikrofonen zur Verf¨ugung gestellt wird, erm¨oglicht es starke, nicht-station¨are unerw¨unschte Signale zu reduzieren, wobei die gew¨unschten Sprachsignal wenig bis gar nicht verzerrt werden. Bei Multimikrofon-Sprachverbesserungssystemen werden r¨aumlich-zeitliche Filter, sog. ” Beamformer“ auf die Mikrofonsignale angewendet, um eine Sch¨atzung des gew¨unschten Sprachsignals zu erhalten. Ein solcher r¨aumlich-zeitlicher Filter kombiniert die empfangenen Mikrofonsignale linear kombiniert, um die gew¨unschte Signalsch¨atzung zu liefern. H¨aufig verwendete Optimalit¨atskriterien f¨ur r¨aumlich-zeitliches Filterdesign erfordern Kenntnis der r¨aumlich-zeitlichen statistischen Momente h¨oherer Ordnung von den gew¨unschten und unerw¨unschten Signalen, die an den Mikrofonen empfangen werden. Da die statistischen Momente zum Einen in der Praxis oft nicht verf¨ugbar und zum Anderen zeitvariant sind, ist deren Sch¨atzung aus den Mikrofonsignalen der wichtigste Faktor f¨ur die Qualit¨at der gew¨unschten Signalsch¨atzung am Filterausgang. Im Allgemeinen m¨ussen die statistischen Momente in einer ¨uberwachten Weise aus den Mikrofonsignalen gesch¨atzt werden, so dass die statistischen Momente des gew¨unschten Signals gesch¨atzt werden, wenn das gew¨unschte Signal pr¨asent ist und die statistischen Momente der unerw¨unschten Signalanteile gesch¨atzt werden, wenn das gew¨unschte Signal nicht pr¨asent ist. Somit ist in der Praxis ein genauer Signaldetektor ein grundlegender Baustein f¨ur die Implementierung von datenabh¨angigen r¨aumlich-zeitlichen Filtern. Obwohl die Theorie f¨ur optimales Filterdesign f¨ur Sprachanwendungen ein fortgeschrittenes Feld ist, wird in vielen B¨uchern und Beitr¨agen oft davon ausgegangen, dass die statistischen Momente der Signalkomponenten verf ¨ugbar sind oder dass diese im Voraus in station¨aren Szenarien gesch¨atzt werden k¨onnen. Allerdings wird sowohl die Implementierung von optimalen Filtern in dynamischen Szenarien, welche f¨ur reale Anwendungen typisch sind, als auch die Bedeutung der Signaldetektion und der Echtzeit-Sch¨atzung in der Literatur selten erw¨ahnt. In dieser Arbeit wird wir die Gestaltung von datenabh¨angigen Sprachverbesserungsger¨usten in unterschiedliche Anwendungen behandelt. Wir schlagen mehrere anwendungsspezifische Frameworks vor, von denen jeder einen geeigneten gew¨unschten Signaldetektor entwirft, die Statistiken h¨oherer Ordnung der gew¨unschten und unerw¨unschten Signale sch¨atzt, und optimale datenabh¨angige Raumfilter berechnet, um die gew¨unschte Sprachsignal zu sch¨atzen, wobei gleichzeitig die unerw¨unschter Signale reduziert werden. Da die optimalen Filter unter Verwendung der Signaldetektoren in einer ¨uberwachten Weise berechnet werden, werden sie als ” Informed Spatial Filters“ (IFS) bezeichnet. Eine zugrunde liegende Annahme f¨ur die Gestaltung der vorgeschlagenen Detektoren und Informed Spatial Filters ist die geringe Ausdehnung von Sprachsignalen (sparsity assumtion) in der Kurz-Zeit-Frequenz-Dom¨ane, was bedeutet, dass mit einer entsprechend hoch gew¨ahlten Zeit- und Frequenzaufl¨osung jeder Frequenz-Zeit-Abschnitt entweder von einer einzelnen Sprachquelle oder einem Hintergrundrauschen dominiert wird. Basierend auf dieser Annahme wird die Signaldetektion an jedem Abschnitt durchgef¨uhrt, gefolgt von einer Aktualisierung der Statistik , die der dominanten Quelle in diesem Abschnitt entspricht. Die gesch¨atzten Statistiken werden dann verwendet, um optimale, zeitvariable IFS zu berechnen, um die gew¨unschten Signale zu extrahieren. Die auf diese Weise erhaltenen ISF k¨onnen sich nahezu augenblicklich an sich ¨andernde akustische Zust¨ande anpassen, wie z. B. zeitvariable Orte der gew¨unschten und der unerw¨unschten Quellen und zeitvariablen Rauschstatistiken. Mit dem informed spatial filtering concept haben wir ein allgemeines System entwickelt, welches durch die konstruktive Gestaltung seiner Bausteine auf eine Reihe von Anwendungen angewendet wird, wie z.B. Rauschunterdr¨uckung, r¨aumlich selektive Klangerfassung, und blinde Quellentrennung von statischen und bewegten Quellen in Echtzeit.

DOI
Faculties & Collections
Zugehörige ORCIDs