Enhancing AI Telephony System with
Large Language Models: A Comparative
Study on ’Telegra KIT’
- Nowadays, artificial intelligence (AI) has been widely used in telephony systems. It
allows telephony systems to automate customer interactions without any human in-
tervention. However, traditional approaches used across various tasks in telephony
systems has some limitations. To address these limitations, this thesis investigates
the potential of Large Language Models (LLMs) to enhance AI-driven telephony
systems by improving intent recognition, entity extraction, inquiry question gener-
ation, and synthetic training data creation.
We have conducted a comparative study to evaluate the performance of LLM-
based methods and traditional methods across above mentioned tasks. This study
is conducted on Telegra-KIT, an AI-based telephony platform. We have used real-
world data of Telegra-KIT to assess the performance. The resultsNowadays, artificial intelligence (AI) has been widely used in telephony systems. It
allows telephony systems to automate customer interactions without any human in-
tervention. However, traditional approaches used across various tasks in telephony
systems has some limitations. To address these limitations, this thesis investigates
the potential of Large Language Models (LLMs) to enhance AI-driven telephony
systems by improving intent recognition, entity extraction, inquiry question gener-
ation, and synthetic training data creation.
We have conducted a comparative study to evaluate the performance of LLM-
based methods and traditional methods across above mentioned tasks. This study
is conducted on Telegra-KIT, an AI-based telephony platform. We have used real-
world data of Telegra-KIT to assess the performance. The results show that LLMs
outperformed traditional approaches by improving intent recognition accuracy from
18.42% to 39.71% and entity extraction accuracy from 52.69% to 82.21%. LLM-based
approach was also able to create effective inquiry questions when a caller’s intent is
uncertain. The results also demonstrated the ability of LLM to create high-quality
synthetic training data to address data scarcity issues and enhance model general-
ization.
The findings of this thesis contribute to the advancement of AI telephony sys-
tems by offering a more context-aware, adaptable approach for important tasks in
telephony.…


- Heutzutage wird künstliche Intelligenz (KI) in großem Umfang in Telefonsystemen
eingesetzt. Sie ermöglicht es Telefonsystemen, Kundeninteraktionen ohne menschli-
ches Eingreifen zu automatisieren. Die traditionellen Ansätze, die für verschiedene
Aufgaben in Telefonsystemen verwendet werden, weisen jedoch einige Einschrän-
kungen auf. Um diese Grenzen zu überwinden, untersucht diese Arbeit das Poten-
zial von Large Language Models (LLMs) zur Verbesserung von KI-gesteuerten Tele-
foniesystemen durch Verbesserung der Absichtserkennung, der Entitätsextraktion,
der Generierung von Fragen und der Erstellung synthetischer Trainingsdaten.
Wir haben eine vergleichende Studie durchgeführt, um die Leistung von LLM-
basierten Methoden und traditionellen Methoden bei den oben genannten Aufga-
ben zu bewerten. Diese Studie wurde mitHeutzutage wird künstliche Intelligenz (KI) in großem Umfang in Telefonsystemen
eingesetzt. Sie ermöglicht es Telefonsystemen, Kundeninteraktionen ohne menschli-
ches Eingreifen zu automatisieren. Die traditionellen Ansätze, die für verschiedene
Aufgaben in Telefonsystemen verwendet werden, weisen jedoch einige Einschrän-
kungen auf. Um diese Grenzen zu überwinden, untersucht diese Arbeit das Poten-
zial von Large Language Models (LLMs) zur Verbesserung von KI-gesteuerten Tele-
foniesystemen durch Verbesserung der Absichtserkennung, der Entitätsextraktion,
der Generierung von Fragen und der Erstellung synthetischer Trainingsdaten.
Wir haben eine vergleichende Studie durchgeführt, um die Leistung von LLM-
basierten Methoden und traditionellen Methoden bei den oben genannten Aufga-
ben zu bewerten. Diese Studie wurde mit Telegra-KIT durchgeführt, einer KI-basier-
ten Telefonieplattform. Wir haben reale Daten von Telegra-KIT verwendet, um die
Leistung zu bewerten. Die Ergebnisse zeigen, dass LLMs die traditionellen Ansät-
ze übertrafen, indem sie die Genauigkeit der Absichtserkennung von 18,42% auf
39,71% und die Genauigkeit der Entity-Extraktion von 52,69% auf 82,21% verbesser-
ten. Der LLM-basierte Ansatz war auch in der Lage, effektive Rückfragen zu erstel-
len, wenn die Absicht des Anrufers unsicher ist. Die Ergebnisse zeigen auch, dass
LLM in der Lage ist, qualitativ hochwertige synthetische Trainingsdaten zu erstel-
len, um Probleme der Datenknappheit zu beheben und die Modellgeneralisierung
zu verbessern.
Die Ergebnisse dieser Arbeit tragen zur Weiterentwicklung von KI-Telefoniesyste-
men bei, indem sie einen kontextbewussten, anpassungsfähigen Ansatz für wichtige
Aufgaben in der Telefonie bieten.…

