Uncertainty Decoding for Reverberation-Robust Automatic Speech Recognition

Language
en
Document Type
Doctoral Thesis
Issue Date
2016-07-20
Issue Year
2016
Authors
Maas, Roland
Editor
Publisher
FAU University Press
ISBN
978-3-944057-62-0
Abstract

The major problem in distant-talking speech recognition is the corruption of speech signals by both interfering sounds and reverberation. While a range of successful techniques has been developed since the beginnings of speech recognition research to combat additive and short convolutive noise, compensating for long-term distortion caused by reverberation has not gained wide attention until recently. This thesis further develops an uncertainty decoding approach, named REverberation MOdeling for Speech recognition (REMOS), to adapt the acoustic model of a conventional Hidden Markov Model-based recognizer to reverberant environments. By incorporating a convolutive observation model, the Viterbi decoder is extended in order to implicitly provide a state-wise late reverberation estimate leading to a relaxation of the hidden Markov models' conditional independence assumption. The experimental evaluation confirms that REMOS yields strong speech recognition performance under noisy and reverberant conditions and furthermore allows for a rapid adaptation to changing acoustic conditions.

Abstract

Das grundlegende Problem der Spracherkennung mit Freisprechmikrofonen ist die Verfälschung der Sprachsignale durch Störsprecher und Nachhall. Seit den Anfängen der Spracherkennungsforschung wurden eine Reihe erfolgreicher Techniken entwickelt, um additive und kurze konvolutive Störungen zu überwinden. Demgegenüber erhielt die Kompensation von Langzeitstörungen, wie sie durch Nachhall verursacht werden, bis vor Kurzem nur geringe Beachtung. Die vorliegende Dissertation befasst sich mit der Weiterentwicklung eines Uncertainty-Decoding-Verfahrens, namens REMOS (REverberation MOdeling for Speech recognition). Dieses dient zur Adaption der akustischen Modelle konventioneller Hidden-Markov-Modell basierter Spracherkennungssysteme an hallige Umgebungen. Durch die Einbettung eines konvolutiven Beobachtungsmodells wird der zu Grunde liegende Viterbi-Dekoder erweitert, um in jedem Dekodier-Schritt implizit eine Schätzung des späten Nachhalls zu bestimmen, was wiederum zu einer Abschwächung der bedingten Unabhängigkeitsannahme der Hidden-Markov-Modelle führt. In dieser Dissertation wird der erweiterte Viterbi-Dekoder des REMOS-Konzepts aus der Sicht der Bayes'schen Netzwerke hergeleitet. Die Methodik der Bayes'schen Netzwerke wird ebenfalls heran gezogen, um einen umfassenden Literaturüberblick zum Stand der Technik zu präsentieren und das REMOS-Konzept in den Kontext existierender modellbasierter Methoden zur robusten Spracherkennung einzubetten. Die Erweiterung des Viterbi-Dekoders führt innerhalb des REMOS-Konzepts auf ein nichtlineares Optimierungsproblem, das entscheidend vom betrachteten Merkmalbereich abhängt. Ein weiterer wesentlicher Beitrag dieser Dissertation stellt die Entwicklung numerischer Optimierungsverfahren für logarithmische melspektrale Merkmale, teil-dekorrelierte Frequenz-gefilterte Merkmale sowie für durch additive Störungen und Nachhall verfälschte Merkmale dar. Zur experimentellen Evaluierung wird der TI-Digit-Korpus mit gemessenen Raumimpulsantworten gefaltet und anschließend durch das REMOS-Verfahren sowie den drei folgenden Vergleichssystemen prozessiert: ein auf verhallten Daten trainiertes Erkennungssystem, ein mit einem Nachhallunterdrückungsverfahren kombiniertes Erkennungssystem sowie eine Erkennungssystem, das mit dem Constrained-Maximum-Likelihood-Linear-Regression-Verfahren adaptiert wurde. Es wird aufgezeigt, dass das REMOS-Konzept sowohl unter gleichen als auch unter ungleichen Trainings- und Testbedingungen zu sehr guten Spracherkennungsraten führt und außerdem eine schnelle Adaption an wechselnde akustische Umgebung erlaubt. Der Nutzen des Nachhallmodells des REMOS-Konzeptes wird ebenfalls bei zusätzlich aktiven Störgeräuschquellen belegt.

Series
FAU Forschungen, Reihe B, Medizin, Naturwissenschaft, Technik
Series Nr.
8
Notes
Parallel erschienen als Druckausgabe bei FAU University Press, ISBN 978-3-944057-61-3
DOI
Faculties & Collections
Zugehörige ORCIDs