Uncertainty Decoding for Reverberation-Robust Automatic Speech Recognition
Uncertainty Decoding für die nachhallrobuste automatische Spracherkennung
Please always quote using this URN: urn:nbn:de:bvb:29-opus4-72553
- The major problem in distant-talking speech recognition is the corruption of speech signals by both interfering sounds and reverberation. While a range of successful techniques has been developed since the beginnings of speech recognition research to combat additive and short convolutive noise, compensating for long-term distortion caused by reverberation has not gained wide attention until recently. This thesis further develops an uncertainty decoding approach, named REverberation MOdeling for Speech recognition (REMOS), to adapt the acoustic model of a conventional Hidden Markov Model-based recognizer to reverberant environments. By incorporating a convolutive observation model, theThe major problem in distant-talking speech recognition is the corruption of speech signals by both interfering sounds and reverberation. While a range of successful techniques has been developed since the beginnings of speech recognition research to combat additive and short convolutive noise, compensating for long-term distortion caused by reverberation has not gained wide attention until recently. This thesis further develops an uncertainty decoding approach, named REverberation MOdeling for Speech recognition (REMOS), to adapt the acoustic model of a conventional Hidden Markov Model-based recognizer to reverberant environments. By incorporating a convolutive observation model, the Viterbi decoder is extended in order to implicitly provide a state-wise late reverberation estimate leading to a relaxation of the hidden Markov models' conditional independence assumption. The experimental evaluation confirms that REMOS yields strong speech recognition performance under noisy and reverberant conditions and furthermore allows for a rapid adaptation to changing acoustic conditions.…
- Das grundlegende Problem der Spracherkennung mit Freisprechmikrofonen ist die Verfälschung der Sprachsignale durch Störsprecher und Nachhall. Seit den Anfängen der Spracherkennungsforschung wurden eine Reihe erfolgreicher Techniken entwickelt, um additive und kurze konvolutive Störungen zu überwinden. Demgegenüber erhielt die Kompensation von Langzeitstörungen, wie sie durch Nachhall verursacht werden, bis vor Kurzem nur geringe Beachtung. Die vorliegende Dissertation befasst sich mit der Weiterentwicklung eines Uncertainty-Decoding-Verfahrens, namens REMOS (REverberation MOdeling for Speech recognition). Dieses dient zur Adaption der akustischen Modelle konventioneller Hidden-Markov-ModellDas grundlegende Problem der Spracherkennung mit Freisprechmikrofonen ist die Verfälschung der Sprachsignale durch Störsprecher und Nachhall. Seit den Anfängen der Spracherkennungsforschung wurden eine Reihe erfolgreicher Techniken entwickelt, um additive und kurze konvolutive Störungen zu überwinden. Demgegenüber erhielt die Kompensation von Langzeitstörungen, wie sie durch Nachhall verursacht werden, bis vor Kurzem nur geringe Beachtung. Die vorliegende Dissertation befasst sich mit der Weiterentwicklung eines Uncertainty-Decoding-Verfahrens, namens REMOS (REverberation MOdeling for Speech recognition). Dieses dient zur Adaption der akustischen Modelle konventioneller Hidden-Markov-Modell basierter Spracherkennungssysteme an hallige Umgebungen. Durch die Einbettung eines konvolutiven Beobachtungsmodells wird der zu Grunde liegende Viterbi-Dekoder erweitert, um in jedem Dekodier-Schritt implizit eine Schätzung des späten Nachhalls zu bestimmen, was wiederum zu einer Abschwächung der bedingten Unabhängigkeitsannahme der Hidden-Markov-Modelle führt. In dieser Dissertation wird der erweiterte Viterbi-Dekoder des REMOS-Konzepts aus der Sicht der Bayes'schen Netzwerke hergeleitet. Die Methodik der Bayes'schen Netzwerke wird ebenfalls heran gezogen, um einen umfassenden Literaturüberblick zum Stand der Technik zu präsentieren und das REMOS-Konzept in den Kontext existierender modellbasierter Methoden zur robusten Spracherkennung einzubetten. Die Erweiterung des Viterbi-Dekoders führt innerhalb des REMOS-Konzepts auf ein nichtlineares Optimierungsproblem, das entscheidend vom betrachteten Merkmalbereich abhängt. Ein weiterer wesentlicher Beitrag dieser Dissertation stellt die Entwicklung numerischer Optimierungsverfahren für logarithmische melspektrale Merkmale, teil-dekorrelierte Frequenz-gefilterte Merkmale sowie für durch additive Störungen und Nachhall verfälschte Merkmale dar. Zur experimentellen Evaluierung wird der TI-Digit-Korpus mit gemessenen Raumimpulsantworten gefaltet und anschließend durch das REMOS-Verfahren sowie den drei folgenden Vergleichssystemen prozessiert: ein auf verhallten Daten trainiertes Erkennungssystem, ein mit einem Nachhallunterdrückungsverfahren kombiniertes Erkennungssystem sowie eine Erkennungssystem, das mit dem Constrained-Maximum-Likelihood-Linear-Regression-Verfahren adaptiert wurde. Es wird aufgezeigt, dass das REMOS-Konzept sowohl unter gleichen als auch unter ungleichen Trainings- und Testbedingungen zu sehr guten Spracherkennungsraten führt und außerdem eine schnelle Adaption an wechselnde akustische Umgebung erlaubt. Der Nutzen des Nachhallmodells des REMOS-Konzeptes wird ebenfalls bei zusätzlich aktiven Störgeräuschquellen belegt.…
Author: | Roland Maas |
---|---|
Persistent identifiers - URN: | urn:nbn:de:bvb:29-opus4-72553 |
ISBN: | 978-3-944057-62-0 |
Series (Volume number): | FAU Forschungen, Reihe B, Medizin, Naturwissenschaft, Technik (8) |
Publisher: | FAU University Press |
Place: | Erlangen |
Referee: | Walter Kellermann, Dorothea Kolossa |
Document Type: | Doctoral Thesis |
Language: | English |
Year of publication: | 2016 |
Date of online publication (Embargo Date): | 2016/07/15 |
Publishing Institution: | FAU University Press |
Granting institution: | Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU), Technische Fakultät |
Acceptance date of the thesis: | 2016/04/18 |
Release Date: | 2016/07/20 |
Tag: | Bayesian networks; Viterbi decoding; acoustic model adaptation; automatic speech recognition; distant microphones; hidden Markov models; noise; reverberation; robustness; uncertainty decoding |
SWD-Keyword: | Automatische Spracherkennung; Noise; Nachhall; Hidden-Markov-Modell |
Length/size: | VIII, 191 S. |
Notes: | Parallel erschienen als Druckausgabe bei FAU University Press, ISBN 978-3-944057-61-3 |
Institutes: | Technische Fakultät / Department Elektrotechnik-Elektronik-Informationstechnik |
Dewey Decimal Classification: | 6 Technik, Medizin, angewandte Wissenschaften / 62 Ingenieurwissenschaften / 620 Ingenieurwissenschaften und zugeordnete Tätigkeiten |
open_access (DINI-Set): | open_access |
Collections: | Universität Erlangen-Nürnberg / FAU University Press |
Licence (German): | ![]() |