Datenaugmentierung und der Vergleich verschiedener Lernvarianten im Dialog Management von Gesprächsassistenten

  • Ein Chatbot oder ein Sprachassistent, welcher auf eine gestellte Frage unzusammenhängend antwortet, kann zu einer Abkehr des Benutzers von den Diensten des Unternehmens führen. Erhält der Anwender eine Liste an Hotels auf die Anfrage nach einem Zug in die nächste Stadt, wird dieser den Gesprächsassistenten womöglich nicht weiter nutzen oder gegebenenfalls zu einem Konkurrenzprodukt wechseln. Neben einer fehlerhaften Erkennung der Intentionen des Benutzers ist ein inkorrektes Dialog Management ein möglicher Grund für unzutreffende Reaktionen des Gesprächsassistenten. In der hier vorliegenden Masterarbeiten werden mit Vertauschung von Abschnitten des Dialogs, Einfügen von Chitchat und Generierung neuer Dialoge drei Algorithmen für die Datenaugmentierung vorgestellt. Das Training des dem Dialog Management zugrundeliegenden Modells wird mit den zwei Lernvarianten Supervised Learning und Reinforcement Learning realisiert und verglichen. Für das Supervised Learning wird das State of the Art Modell Transformer Embedding Dialogue (TED) [72] des Rasa Frameworks genutzt. Der Deep-Q-Learning Algorithmus [42] wird zur Umsetzung des Reinforcement Learnings angepasst und evaluiert. Um die Nutzbarkeit der verschiedenen Verfahren festzustellen, werden innerhalb der Evaluation automatisierte Tests durchgeführt, um Änderungen in der Genauigkeit des Dialog Management unter Anwendung der Lernvarianten und Augmentierungen zu überprüfen. Das Einfügen von Chitchat erweist sich in der Evaluation als vielversprechendstes der drei Augmentierungsverfahren. Es konnten Verbesserungen der Accuracy von bis zu 1,6% und im F1 Maß von 1,8% im Supervised Learning erzielt werden. Deutliche Verbesserungen von bis zu 6,6% Accuracy und 7,4% F1 Maß werden mit dieser Augmentierung im Reinforcement Learning erreicht. Vor- und Nachteile der Augmentierungen und Lernvarianten werden diskutiert. Abschließend werden zukünftige Entwicklungsmöglichkeiten diskutiert.
  • A chatbot or a virtual assistant that answers a question in an inconsistent manner may lead to the user turning away from the company’s services. If the user receives a list of hotels in response to a request for a train to the next city, he may not continue to use the assistant or may switch to a competing product. In addition to incorrect detection of the user’s intentions, incorrect dialog management is a possible reason for incorrect reactions of the conversational assistant. In this master thesis, three algorithms for data augmentation are presented: swapping sections of the dialog, inserting chitchat and generating new dialogs using a dialog graph. The training of the model on which dialog management is based is realized and compared with the two learning variants Supervised Learning and Reinforcement Learning. For the supervised learning the state of the art model Transformer Embedding Dialogue (TED) [72] of the Rasa Framework is used. The Deep-Q-Learning algorithm [42] is adapted and evaluated for the implementation of reinforcement learning. In order to determine the usability of the different procedures, automated tests are performed within the evaluation to check for changes in the accuracy of the dialog management using the learning variants and augmentations. In the evaluation, the insertion of chitchat proves to be the most promising of the three augmentation methods. Improvements in accuracy of up to 1.6% and in the F1 score of 1.8% were achieved in supervised learning. Significant improvements of up to 6.6% accuracy and 7.4% F1 score are achieved with this augmentation in reinforcement learning. The advantages and disadvantages of augmentation and learning variants are discussed. Finally, future development possibilities are discussed.

Download full text files

Export metadata

Additional Services

Share in Twitter Search Google Scholar
Metadaten
Author:Dominic Karnehm
URN:urn:nbn:de:bvb:m347-dtl-0000001881
Place of publication:München
Referee:David Spieler, Alfred NischwitzORCiD
Advisor:Stephan Schiffner, Jonathan Boidol, Simon Schmitz
Document Type:Master's Thesis
Language:German
Date of Publication (online):2021/12/06
Year of first Publication:2020
Publishing Institution:Hochschule für angewandte Wissenschaften München
Granting Institution:Hochschule für angewandte Wissenschaften München
Date of final exam:2020/09/21
Release Date:2021/12/10
GND Keyword:Mensch-Maschine-KommunikationGND; Maschinelles LernenGND
Page Number:V, 71
Departments and Institutes:Fakultäten der Hochschule München / FK 07 Fakultät für Informatik und Mathematik
Dewey Decimal Classification:0 Informatik, Informationswissenschaft, allgemeine Werke / 00 Informatik, Wissen, Systeme / 004 Datenverarbeitung; Informatik
Illustrations:Illustration/en
Illustrations:grafische Darstellung/en
Licence (German):Keine CC-Lizenz, es gilt der Veröffentlichungsvertrag und das Deutsche Urheberrecht
Einverstanden
Diese Webseite verwendet technisch erforderliche Session-Cookies. Durch die weitere Nutzung der Webseite stimmen Sie diesem zu. Unsere Datenschutzerklärung finden Sie hier.