Enhancing AI Telephony System with Large Language Models: A Comparative Study on ’Telegra KIT’

  • Nowadays, artificial intelligence (AI) has been widely used in telephony systems. It allows telephony systems to automate customer interactions without any human in- tervention. However, traditional approaches used across various tasks in telephony systems has some limitations. To address these limitations, this thesis investigates the potential of Large Language Models (LLMs) to enhance AI-driven telephony systems by improving intent recognition, entity extraction, inquiry question gener- ation, and synthetic training data creation. We have conducted a comparative study to evaluate the performance of LLM- based methods and traditional methods across above mentioned tasks. This study is conducted on Telegra-KIT, an AI-based telephony platform. We have used real- world data of Telegra-KIT to assess the performance. The resultsNowadays, artificial intelligence (AI) has been widely used in telephony systems. It allows telephony systems to automate customer interactions without any human in- tervention. However, traditional approaches used across various tasks in telephony systems has some limitations. To address these limitations, this thesis investigates the potential of Large Language Models (LLMs) to enhance AI-driven telephony systems by improving intent recognition, entity extraction, inquiry question gener- ation, and synthetic training data creation. We have conducted a comparative study to evaluate the performance of LLM- based methods and traditional methods across above mentioned tasks. This study is conducted on Telegra-KIT, an AI-based telephony platform. We have used real- world data of Telegra-KIT to assess the performance. The results show that LLMs outperformed traditional approaches by improving intent recognition accuracy from 18.42% to 39.71% and entity extraction accuracy from 52.69% to 82.21%. LLM-based approach was also able to create effective inquiry questions when a caller’s intent is uncertain. The results also demonstrated the ability of LLM to create high-quality synthetic training data to address data scarcity issues and enhance model general- ization. The findings of this thesis contribute to the advancement of AI telephony sys- tems by offering a more context-aware, adaptable approach for important tasks in telephony.show moreshow less
  • Heutzutage wird künstliche Intelligenz (KI) in großem Umfang in Telefonsystemen eingesetzt. Sie ermöglicht es Telefonsystemen, Kundeninteraktionen ohne menschli- ches Eingreifen zu automatisieren. Die traditionellen Ansätze, die für verschiedene Aufgaben in Telefonsystemen verwendet werden, weisen jedoch einige Einschrän- kungen auf. Um diese Grenzen zu überwinden, untersucht diese Arbeit das Poten- zial von Large Language Models (LLMs) zur Verbesserung von KI-gesteuerten Tele- foniesystemen durch Verbesserung der Absichtserkennung, der Entitätsextraktion, der Generierung von Fragen und der Erstellung synthetischer Trainingsdaten. Wir haben eine vergleichende Studie durchgeführt, um die Leistung von LLM- basierten Methoden und traditionellen Methoden bei den oben genannten Aufga- ben zu bewerten. Diese Studie wurde mitHeutzutage wird künstliche Intelligenz (KI) in großem Umfang in Telefonsystemen eingesetzt. Sie ermöglicht es Telefonsystemen, Kundeninteraktionen ohne menschli- ches Eingreifen zu automatisieren. Die traditionellen Ansätze, die für verschiedene Aufgaben in Telefonsystemen verwendet werden, weisen jedoch einige Einschrän- kungen auf. Um diese Grenzen zu überwinden, untersucht diese Arbeit das Poten- zial von Large Language Models (LLMs) zur Verbesserung von KI-gesteuerten Tele- foniesystemen durch Verbesserung der Absichtserkennung, der Entitätsextraktion, der Generierung von Fragen und der Erstellung synthetischer Trainingsdaten. Wir haben eine vergleichende Studie durchgeführt, um die Leistung von LLM- basierten Methoden und traditionellen Methoden bei den oben genannten Aufga- ben zu bewerten. Diese Studie wurde mit Telegra-KIT durchgeführt, einer KI-basier- ten Telefonieplattform. Wir haben reale Daten von Telegra-KIT verwendet, um die Leistung zu bewerten. Die Ergebnisse zeigen, dass LLMs die traditionellen Ansät- ze übertrafen, indem sie die Genauigkeit der Absichtserkennung von 18,42% auf 39,71% und die Genauigkeit der Entity-Extraktion von 52,69% auf 82,21% verbesser- ten. Der LLM-basierte Ansatz war auch in der Lage, effektive Rückfragen zu erstel- len, wenn die Absicht des Anrufers unsicher ist. Die Ergebnisse zeigen auch, dass LLM in der Lage ist, qualitativ hochwertige synthetische Trainingsdaten zu erstel- len, um Probleme der Datenknappheit zu beheben und die Modellgeneralisierung zu verbessern. Die Ergebnisse dieser Arbeit tragen zur Weiterentwicklung von KI-Telefoniesyste- men bei, indem sie einen kontextbewussten, anpassungsfähigen Ansatz für wichtige Aufgaben in der Telefonie bieten.show moreshow less

Download full text files

Export metadata

Additional Services

Search Google Scholar
Metadaten
Author:Jeevan Saraf
Referee:Frank HopfgartnerORCiDGND, Stefania ZourlidouORCiDGND
Document Type:Master's Thesis
Language:English
Date of Publication (online):2025/05/19
Date of first Publication:2025/05/19
Publishing Institution:Universität Koblenz, Universitätsbibliothek
Granting Institution:Universität Koblenz, Fachbereich 4
Date of final exam:2025/03/13
Release Date:2025/05/20
Page Number:xiv, 81
Institutes:Fachbereich 4 / Institute for Web Science and Technologies
Licence (German):Es gilt das deutsche Urheberrecht: § 53 UrhG
Einverstanden ✔
Diese Webseite verwendet technisch erforderliche Session-Cookies. Durch die weitere Nutzung der Webseite stimmen Sie diesem zu. Unsere Datenschutzerklärung finden Sie hier.