TY - CHAP A1 - Mousavi, Neda A1 - Saeed Sarfjoo, Seyyed A1 - Grawunder, Sven ED - Baumann, Timo T1 - Unsupervised emotional pattern recognition using rhythmic and vocal features T2 - Elektronische Sprachsignalverarbeitung 2024, Tagungsband der 35. Konferenz, Regensburg, 6.-8. März 2024 N2 - In this study, we address the complex dynamics of emotional speech and comprehensively examine the integration of rhythmic and vocal features to recognize emotional patterns. Our exploration is conducted using two German emotional corpora: VMEmo and EmoDB. Employing a combination of supervised methods (here linear discriminant analysis, LDA) and unsupervised techniques (here k-means clustering), we aim to uncover nuanced patterns within the emotional speech in these corpora. The application of LDA highlights salient patterns across different feature sets and focuses on the classification of speakers and prosodic characteristics. In addition, k-means clustering uncovers latent structures that reveal subtle mapping between emotions and speech behavior. Our results suggest that it is possible to cluster data based on prosodic behaviors that are influenced by emotional changes. Although precise mapping to the actual clusters derived from emotional labels could not be fully achieved, the results nonetheless reveal a moderate level of success in this investigation. Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:898-opus4-71026 SN - 978-3-95908-325-6 SP - 233 EP - 240 PB - TUDpress CY - Dresden ER - TY - CHAP A1 - Ibrahim, Omnia A1 - Yuen, Ivan A1 - Xue, Wei A1 - Andreeva, Bistra A1 - Möbius, Bernd ED - Baumann, Timo T1 - Listener-Oriented Consequences of Predictability-Based Acoustic Adjustment T2 - Elektronische Sprachsignalverarbeitung 2024, Tagungsband der 35. Konferenz, Regensburg, 6.-8. März 2024 N2 - This paper investigated whether predictability-based adjustments in production have listener-oriented consequences in perception. By manipulating the acoustic features of a target syllable in different predictability contexts in German, we tested 40 listeners’ perceptual preference for the manipulation. Four source words underwent acoustic modifications on the target syllable. Our results revealed a general preference for the original (unmodified) version over the modified one. However, listeners generally favored the unmodified version more when the source word had a higher predictable context compared to a less predictable one. The results showed that predictability-based adjustments have perceptual consequences and that listeners have predictability-based expectations in perception. Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:898-opus4-70984 SN - 978-3-95908-325-6 SP - 196 EP - 202 PB - TUDpress CY - Dresden ER - TY - CHAP A1 - Ranzenberger, Thomas A1 - Bocklet, Tobias A1 - Freisinger, Steffen A1 - Georges, Munir A1 - Glocker, Kevin A1 - Herygers, Aaricia A1 - Riedhammer, Korbinian A1 - Schneider, Fabian A1 - Simic, Christopher A1 - Zakaria, Khabbab ED - Baumann, Timo T1 - Extending HAnS: Large Language Models For Question Answering, Summarization, And Topic Segmentation In An ML-based Learning Experience Platform T2 - Elektronische Sprachsignalverarbeitung 2024, Tagungsband der 35. Konferenz, Regensburg, 6.-8. März 2024 N2 - The use of chatbots based on large language models (LLMs) and their impact on society are influencing our learning experience platform Hochschul-Assistenz-System (HAnS). HAnS uses machine learning (ML) methods to support students and lecturers in the online learning and teaching processes [1]. This paper introduces LLM-based features available in HAnS which are using the transcript of our improved Automatic Speech Recognition (ASR) pipeline with an average transcription duration of 45 seconds and an average word error rate (WER) of 6.66% on over 8 hours of audio data of 7 lecture videos. A LLM-based chatbot could be used to answer questions on the lecture content as the ASR transcript is provided as context. The summarization and topic segmentation uses the LLM to improve our learning experience platform. We generate multiple choice questions using the LLM and the ASR transcript as context during playback in a period of 3 minutes and display them in the HAnS frontend. Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:898-opus4-71032 SN - 978-3-95908-325-6 SP - 219 EP - 224 PB - TUDpress CY - Dresden ER - TY - CHAP A1 - Kinoshita, Keisuke A1 - Delcroix, Marc A1 - Gannot, Sharon A1 - Habets, Emanuël A. P. A1 - Haeb-Umbach, Reinhold A1 - Kellermann, Walter A1 - Leutnant, Volker A1 - Maas, Roland A1 - Nakatani, Tomohiro A1 - Raj, Bhiksha A1 - Sehr, Armin A1 - Yoshioka, Takuya ED - Watanabe, Shinji ED - Delcroix, Marc ED - Metze, Florian ED - Hershey, John R. T1 - The REVERB Challenge: A Benchmark Task for Reverberation-Robust ASR Techniques T2 - New Era for Robust Speech Recognition N2 - The REVERB challenge is a benchmark task designed to evaluate reverberation-robust automatic speech recognition techniques under various conditions. A particular novelty of the REVERB challenge database is that it comprises both real reverberant speech recordings and simulated reverberant speech, both of which include tasks to evaluate techniques for 1-, 2-, and 8-microphone situations. In this chapter, we describe the problem of reverberation and characteristics of the REVERB challenge data, and finally briefly introduce some results and findings useful for reverberant speech processing in the current deep-neural-network era. Y1 - 2017 SN - 978-3-319-64679-4 U6 - https://doi.org/10.1007/978-3-319-64680-0_15 VL - 27 SP - 345 EP - 354 PB - Springer CY - Cham ER - TY - CHAP A1 - Kisser, Lea A1 - Busch, Matthias A1 - Siegert, Ingo ED - Baumann, Timo T1 - Review of Usage and Potentials of Conversational Interfaces at Universities and in Students Daily Lifes T2 - Elektronische Sprachsignalverarbeitung 2024, Tagungsband der 35. Konferenz, Regensburg, 6.-8. März 2024 N2 - The continuous advancement of digitization extends beyond educational institutions, giving rise to numerous innovations, particularly in the realm of study information [1]. One avenue for incorporating digital methodologies involves leveraging conversational agents (CAs) [2], serving as interactive interfaces bridging the gap between humans and computers. In the broader context, conversational agents are gaining prominence, offering several benefits to their users. The overarching goal is to comprehensively assist users through these intelligent systems. Consequently, exploring existing university chatbots becomes imperative to discern the areas where they excel. This research aims to scrutinize diverse chatbot systems, delving into their use cases and the challenges they encounter, employing a systematic review. Here it turns out that chatbots support universities the most in the fields of administration, e-learning and mental health. Furthermore, the study will investigate practical experiences on the potential applications and implementation of these systems in university settings, incorporating insights from an online survey and interviews, both made with experts. Here it comes to conclusion that preparation in relation to a chatbot implementation is the key factor to success. Otherwise, a failed system is nearly impossible to be saved, once users lost trust in the system. Therefore, carefully made preparations in the technical and organisational field are necessary to provide a helpful assistant. Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:898-opus4-70789 SN - 978-3-95908-325-6 SP - 38 EP - 45 PB - TUDpress CY - Dresden ER - TY - CHAP A1 - Walther, Mathias A1 - Zeuner, Elisabeth A1 - Rykova, Eugenia ED - Baumann, Timo T1 - Interaktionsverhalten eines Avatars im digitalen sprachtherapeutischen Setting T2 - Elektronische Sprachsignalverarbeitung 2024, Tagungsband der 35. Konferenz, Regensburg, 6.-8. März 2024 N2 - Die Therapie-App aphaDIGITAL wird im Rahmen eines Forschungsprojekts entwickelt, um Menschen mit Aphasie im häuslichen Umfeld zu unterstützen. Das Projekt kombiniert bewährte Therapiemethoden mit digitalen Technologien, einschließlich künstlicher Intelligenz und einem interaktiven Avatar namens Eva. Dieser Artikel betrachtet die Analyse und Entwicklung der Interaktionsmechanismen, die für eine digitale Assistenz von Aphasietherapie den größten Einfluss haben. Es wurden dazu reale Therapiesitzungen zwischen sprachgeschädigten Menschen und ihren Therapeuten konversationsanalytisch nach spezifischen Merkmalen untersucht. Darauf aufbauend wurde durch manuelle Animation ein prototypisches Mundbild modelliert und ein eigenes Artikulationssystem konzipiert, um ein entsprechend authentisches Modell der deutschen Artikulations- und Koartikulationsmuster abzubilden. Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:898-opus4-70774 SN - 978-3-95908-325-6 SP - 30 EP - 37 PB - TUDpress CY - Dresden ER - TY - CHAP A1 - Kany, Valentin A1 - Trouvain, Jürgen ED - Baumann, Timo T1 - Computergestützte Bestimmung des Sprechflusses bei Vorschulkindern T2 - Elektronische Sprachsignalverarbeitung 2024, Tagungsband der 35. Konferenz, Regensburg, 6.-8. März 2024 N2 - Die vorliegende Studie untersucht, inwiefern sich die in der Phonetik verbreiteten Skripte zur automatisierten Feststellung von verschiedenen Aspekten des Sprechflusses von de Jong et al. zur Beurteilung des Sprachstands bei Kindern eignen und in welcher Art und Weise die Methodik angepasst werden könnte. Dazu wurden Sprachdaten von Vorschulkindern mit Deutsch als Muttersprache bzw. als Zweitsprache mithilfe eines Serious Game zur Sprachstandserhebung elizitiert. Die Audiodaten wurden bezüglich Artikulationsrate, Pausen und Füllpartikeln sowohl automatisiert durch die Skripte als auch manuell annotiert. Die Ergebnisse zeigen, dass sich die Skripte zur Ermittlung der Artikulationsrate mit einer relativ hohen Übereinstimmung mit der manuellen Ermittlung zur Verwendung in Sprachstandserhebungsverfahren eignen. Auch die automatische Erkennung von Sprechpausen weist einen hohen Precision-Wert auf und könnte als Instrument in Sprachstandserhebungen verwendet werden. Eine solche Verwendung würde mit einer Erweiterung um die hier vorgestellte manuelle Methode zum Annotieren von disfluenten und nicht disfluenten Pausen profitieren. Bei den Füllpartikeln stellte sich die automatisierte Klassifizierung hingegen als weniger geeignet heraus. Hier wurde keine hohe Übereinstimmung mit der menschlichen Annotation festgestellt. Um in der Praxis Verwendung finden zu können, muss diese Methode noch erweitert werden, zum Beispiel durch Miteinbeziehen der Pausenerkennung. Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:898-opus4-70819 SN - 978-3-95908-325-6 SP - 62 EP - 69 PB - TUDpress CY - Dresden ER - TY - CHAP A1 - Eliseeva, Uliana A1 - Yuen, Ivan A1 - Möbius, Bernd ED - Baumann, Timo T1 - Perception of Formant Distortion in German Words and Non-words T2 - Elektronische Sprachsignalverarbeitung 2024, Tagungsband der 35. Konferenz, Regensburg, 6.-8. März 2024 N2 - Concatenative text-to-speech (TTS) systems remain a widely used cheaper alternative to neural TTS systems. Yet concatenation of prerecorded units entails some drawbacks, such as spectral distortion, the perceptual consequences of which remain unclear. In an attempt to bridge this gap, our study focused on the effect of spectral distortion in vowel formants on perceived speech quality in naturally-read manipulated German words as well as non-words. More specifically, we explored the distortion effect on a varying number of affected formants, at different magnitude and directionality in two corner vowels /a:/ and /i:/. The results indicate that single formant manipulations have a less pronounced effect on the listeners’ perception compared to multiple formant perturbations. The threshold at which the distortion became generally audible was estimated to lie between 0.4 and 1.0 bandwidth. The directionality of the distortion was not found to be significant. Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:898-opus4-70793 SN - 978-3-95908-325-6 SP - 46 EP - 53 PB - TUDpress CY - Dresden ER - TY - CHAP A1 - Kuhn, Johannes A1 - Wolff, Matthias A1 - Borislavov, Borislav ED - Baumann, Timo T1 - Epsilon-Verarbeitung bei minimalistischen Grammatiken für Zahlen T2 - Elektronische Sprachsignalverarbeitung 2024, Tagungsband der 35. Konferenz, Regensburg, 6.-8. März 2024 N2 - Um bei Minimalistischen Grammatiken (MG) Übergenerierung zu vermeiden, kann man Einträge mit leeren Exponenten (ε-Einträge) verwenden. Ein Eintrag besteht aus einem Exponenten, der die Äußerung oder Schrift eines Wortes repräsentiert, einer Merkmalsliste, welche die Syntax kodiert und einem λ-Ausdruck, der die Semantik repräsentiert. Leere Einträge führen allerdings zu einer schlechteren Verwendbarkeit der Grammatik für das Parsen. Die vorliegende Arbeit wird ein Umformungsalgorithmus für MGs vorstellen, sodass die Anzahl der ε-Einträge verringert werden kann, um sie wieder für Parser verwendbar zu machen. Hierzu werden die ε-Einträge mit den anderen Einträgen vorverarbeitet und dadurch neue Einträge geschaffen. Die nun überflüssigen ε-Einträge können dann problemlos entfernt werden. Der Algorithmus wurde anhand von über 260 Zahlwortgrammatiken getestet. Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:898-opus4-70830 SN - 978-3-95908-325-6 SP - 78 EP - 85 PB - TUDpress CY - Dresden ER - TY - CHAP A1 - Höge, Harald ED - Baumann, Timo T1 - The Use of Temporal Features in Cortical Segmentation of Syllables T2 - Elektronische Sprachsignalverarbeitung 2024, Tagungsband der 35. Konferenz, Regensburg, 6.-8. März 2024 N2 - There is high confidence for the hypothesis that in speech perception the cycles of a θ-oscillation segment the auditory signal into syllables [8]. Yet the functionality of the oscillator generating the θ-oscillation is unknown. We follow the finding that, within an auditory scene, speech is perceived as a stream given by temporal coherence [12]. We work with the hypotheses that the θ-oscillator is driven by temporal features providing this coherence. We propose a new temporal feature called O-distance, which detects the onset of a syllable - the starting point to of a θ-cycle–triggered by the temporal distance from to to the instance of the maximal rise of the loudness curve of the vowel. To extract to from the auditory signal, we use the statistical properties of this distance based on the C-center hypothesis [25], which predicts a close temporal relation of the onset consonants to the onset of a vowel. The statistics are derived from reference O-distance extracted from an articulatory database, where the minima and maxima of the loudness are related to maxima and minima of the lower incisor and tongue tip. To judge the quality of the O-distance extracted from the auditory signal, we regard the temporal deviation of the O-distance to the reference O-distance. Currently we achieve a mean deviation of 34ms. Y1 - 2024 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bvb:898-opus4-70823 SN - 978-3-95908-325-6 SP - 70 EP - 77 PB - TUDpress CY - Dresden ER -