Uncertainty Decoding for Reverberation-Robust Automatic Speech Recognition

Uncertainty Decoding für die nachhallrobuste automatische Spracherkennung

Please always quote using this URN: urn:nbn:de:bvb:29-opus4-72553
  • The major problem in distant-talking speech recognition is the corruption of speech signals by both interfering sounds and reverberation. While a range of successful techniques has been developed since the beginnings of speech recognition research to combat additive and short convolutive noise, compensating for long-term distortion caused by reverberation has not gained wide attention until recently. This thesis further develops an uncertainty decoding approach, named REverberation MOdeling for Speech recognition (REMOS), to adapt the acoustic model of a conventional Hidden Markov Model-based recognizer to reverberant environments. By incorporating a convolutive observation model, theThe major problem in distant-talking speech recognition is the corruption of speech signals by both interfering sounds and reverberation. While a range of successful techniques has been developed since the beginnings of speech recognition research to combat additive and short convolutive noise, compensating for long-term distortion caused by reverberation has not gained wide attention until recently. This thesis further develops an uncertainty decoding approach, named REverberation MOdeling for Speech recognition (REMOS), to adapt the acoustic model of a conventional Hidden Markov Model-based recognizer to reverberant environments. By incorporating a convolutive observation model, the Viterbi decoder is extended in order to implicitly provide a state-wise late reverberation estimate leading to a relaxation of the hidden Markov models' conditional independence assumption. The experimental evaluation confirms that REMOS yields strong speech recognition performance under noisy and reverberant conditions and furthermore allows for a rapid adaptation to changing acoustic conditions.show moreshow less
  • Das grundlegende Problem der Spracherkennung mit Freisprechmikrofonen ist die Verfälschung der Sprachsignale durch Störsprecher und Nachhall. Seit den Anfängen der Spracherkennungsforschung wurden eine Reihe erfolgreicher Techniken entwickelt, um additive und kurze konvolutive Störungen zu überwinden. Demgegenüber erhielt die Kompensation von Langzeitstörungen, wie sie durch Nachhall verursacht werden, bis vor Kurzem nur geringe Beachtung. Die vorliegende Dissertation befasst sich mit der Weiterentwicklung eines Uncertainty-Decoding-Verfahrens, namens REMOS (REverberation MOdeling for Speech recognition). Dieses dient zur Adaption der akustischen Modelle konventionellerDas grundlegende Problem der Spracherkennung mit Freisprechmikrofonen ist die Verfälschung der Sprachsignale durch Störsprecher und Nachhall. Seit den Anfängen der Spracherkennungsforschung wurden eine Reihe erfolgreicher Techniken entwickelt, um additive und kurze konvolutive Störungen zu überwinden. Demgegenüber erhielt die Kompensation von Langzeitstörungen, wie sie durch Nachhall verursacht werden, bis vor Kurzem nur geringe Beachtung. Die vorliegende Dissertation befasst sich mit der Weiterentwicklung eines Uncertainty-Decoding-Verfahrens, namens REMOS (REverberation MOdeling for Speech recognition). Dieses dient zur Adaption der akustischen Modelle konventioneller Hidden-Markov-Modell basierter Spracherkennungssysteme an hallige Umgebungen. Durch die Einbettung eines konvolutiven Beobachtungsmodells wird der zu Grunde liegende Viterbi-Dekoder erweitert, um in jedem Dekodier-Schritt implizit eine Schätzung des späten Nachhalls zu bestimmen, was wiederum zu einer Abschwächung der bedingten Unabhängigkeitsannahme der Hidden-Markov-Modelle führt. In dieser Dissertation wird der erweiterte Viterbi-Dekoder des REMOS-Konzepts aus der Sicht der Bayes'schen Netzwerke hergeleitet. Die Methodik der Bayes'schen Netzwerke wird ebenfalls heran gezogen, um einen umfassenden Literaturüberblick zum Stand der Technik zu präsentieren und das REMOS-Konzept in den Kontext existierender modellbasierter Methoden zur robusten Spracherkennung einzubetten. Die Erweiterung des Viterbi-Dekoders führt innerhalb des REMOS-Konzepts auf ein nichtlineares Optimierungsproblem, das entscheidend vom betrachteten Merkmalbereich abhängt. Ein weiterer wesentlicher Beitrag dieser Dissertation stellt die Entwicklung numerischer Optimierungsverfahren für logarithmische melspektrale Merkmale, teil-dekorrelierte Frequenz-gefilterte Merkmale sowie für durch additive Störungen und Nachhall verfälschte Merkmale dar. Zur experimentellen Evaluierung wird der TI-Digit-Korpus mit gemessenen Raumimpulsantworten gefaltet und anschließend durch das REMOS-Verfahren sowie den drei folgenden Vergleichssystemen prozessiert: ein auf verhallten Daten trainiertes Erkennungssystem, ein mit einem Nachhallunterdrückungsverfahren kombiniertes Erkennungssystem sowie eine Erkennungssystem, das mit dem Constrained-Maximum-Likelihood-Linear-Regression-Verfahren adaptiert wurde. Es wird aufgezeigt, dass das REMOS-Konzept sowohl unter gleichen als auch unter ungleichen Trainings- und Testbedingungen zu sehr guten Spracherkennungsraten führt und außerdem eine schnelle Adaption an wechselnde akustische Umgebung erlaubt. Der Nutzen des Nachhallmodells des REMOS-Konzeptes wird ebenfalls bei zusätzlich aktiven Störgeräuschquellen belegt.show moreshow less

Download full text files

Export metadata

Additional Services

Share in Twitter Search Google Scholar Statistics
Metadaten
Author:Roland Maas
URN:urn:nbn:de:bvb:29-opus4-72553
ISBN:978-3-944057-62-0
Series (Volume number):FAU Forschungen, Reihe B, Medizin, Naturwissenschaft, Technik (8)
Publisher:FAU University Press
Place of publication:Erlangen
Referee:Walter Kellermann, Dorothea Kolossa
Document Type:Doctoral Thesis
Language:English
Year of Completion:2016
Embargo Date:2016/07/15
Publishing Institution:FAU University Press
Granting Institution:Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU), Technische Fakultät
Date of final exam:2016/04/18
Release Date:2016/07/20
Tag:Bayesian networks; Viterbi decoding; acoustic model adaptation; automatic speech recognition; distant microphones; hidden Markov models; noise; reverberation; robustness; uncertainty decoding
SWD-Keyword:Automatische Spracherkennung; Hidden-Markov-Modell; Nachhall; Noise
Pagenumber:VIII, 191 S.
Note:
Parallel erschienen als Druckausgabe bei FAU University Press, ISBN 978-3-944057-61-3
Institutes:Technische Fakultät / Department Elektrotechnik-Elektronik-Informationstechnik
Dewey Decimal Classification:Technik, Medizin, angewandte Wissenschaften / Ingenieurwissenschaften / Ingenieurwissenschaften und zugeordnete Tätigkeiten
open_access (DINI-Set):open_access
Collections:Universität Erlangen-Nürnberg / FAU University Press
Licence (German):Creative Commons - CC BY-NC-ND - Namensnennung - Nicht kommerziell - Keine Bearbeitungen 3.0