The search result changed since you submitted your search request. Documents might be displayed in a different sort order.
  • search hit 1 of 39
Back to Result List

From bag-of-words towards natural language: adapting topic models to avoid stop word removal

  • Topic models such as latent Dirichlet allocation (LDA) aim to identify latent topics within text corpora. However, although LDA-type models fall into the category of Natural Language Processing, the actual model input is heavily modified from the original natural language. Among other things, this is typically done by removing specific terms, which arguably might also remove information. In this paper, an extension to LDA is proposed called uLDA, which seeks to incorporate some of these formerly eliminated terms -- namely stop words -- to match natural topics more closely. After developing and evaluating the new extension on established fit measures, uLDA is then tasked with approximating human-perceived topics. For this, a ground truth for topic labels is generated using a human-based experiment. These values are then used as a reference to be matched by the model output. Results show that the new extension outperforms traditional topic models regarding out-of-sample fit across all data sets and regarding human topic approximationTopic models such as latent Dirichlet allocation (LDA) aim to identify latent topics within text corpora. However, although LDA-type models fall into the category of Natural Language Processing, the actual model input is heavily modified from the original natural language. Among other things, this is typically done by removing specific terms, which arguably might also remove information. In this paper, an extension to LDA is proposed called uLDA, which seeks to incorporate some of these formerly eliminated terms -- namely stop words -- to match natural topics more closely. After developing and evaluating the new extension on established fit measures, uLDA is then tasked with approximating human-perceived topics. For this, a ground truth for topic labels is generated using a human-based experiment. These values are then used as a reference to be matched by the model output. Results show that the new extension outperforms traditional topic models regarding out-of-sample fit across all data sets and regarding human topic approximation for most data sets. These findings demonstrate that the novel extension can extract valuable information from the additional data conveyed by stop words and shows potential for better modeling natural language in the future.show moreshow less
  • Topic-Modelle wie die latente Dirichlet-Allokation (LDA) zielen darauf ab, latente Themen in Textkorpora zu identifizieren. Obwohl Modelle vom Typ LDA in die Kategorie der Verarbeitung natürlicher Sprache fallen, wird die eigentliche Modelleingabe jedoch stark von der ursprünglichen natürlichen Sprache abgewandelt. Dies geschieht u. a. durch das Entfernen bestimmter Begriffe, wodurch allerdings auch Informationen verloren gehen können. In dieser Arbeit wird eine Erweiterung von LDA vorgeschlagen, die uLDA genannt wird und versucht, einige dieser zuvor eliminierten Begriffe - sogenannte Stoppwörter - in das Modell mit einzubeziehen, um die natürlichen Themen besser abzubilden. Nach der Entwicklung und Evaluierung der neuen Erweiterung anhand etablierter Anpassungsmaße wird uLDA dann mit der Aufgabe betraut, vom Menschen wahrgenommene Themen zu approximieren. Zu diesem Zweck wird eine Grundwahrheit für die Themenmarkierung durch ein Experiment mit menschlichen Teilnehmern erzeugt. Diese Werte werden dann als Referenz für den AbgleichTopic-Modelle wie die latente Dirichlet-Allokation (LDA) zielen darauf ab, latente Themen in Textkorpora zu identifizieren. Obwohl Modelle vom Typ LDA in die Kategorie der Verarbeitung natürlicher Sprache fallen, wird die eigentliche Modelleingabe jedoch stark von der ursprünglichen natürlichen Sprache abgewandelt. Dies geschieht u. a. durch das Entfernen bestimmter Begriffe, wodurch allerdings auch Informationen verloren gehen können. In dieser Arbeit wird eine Erweiterung von LDA vorgeschlagen, die uLDA genannt wird und versucht, einige dieser zuvor eliminierten Begriffe - sogenannte Stoppwörter - in das Modell mit einzubeziehen, um die natürlichen Themen besser abzubilden. Nach der Entwicklung und Evaluierung der neuen Erweiterung anhand etablierter Anpassungsmaße wird uLDA dann mit der Aufgabe betraut, vom Menschen wahrgenommene Themen zu approximieren. Zu diesem Zweck wird eine Grundwahrheit für die Themenmarkierung durch ein Experiment mit menschlichen Teilnehmern erzeugt. Diese Werte werden dann als Referenz für den Abgleich mit den Modellergebnissen verwendet. Die Auswertungen zeigen, dass die neue Erweiterung die traditionellen Topic-Modelle in Bezug auf den Out-of-Sample Fit in allen Datensätzen und in Bezug auf die menschliche Themenannäherung in den meisten Datensätzen übertrifft. Diese Ergebnisse zeigen, dass die neue Erweiterung wertvolle Informationen aus den zusätzlichen Daten extrahieren kann, die durch Stoppwörter übermittelt werden, und dass sie das Potenzial hat, natürliche Sprache in Zukunft besser zu modellieren.show moreshow less

Export metadata

Additional Services

Share in Twitter Search Google Scholar Statistics
Metadaten
Author:Schulze Dieckhoff, Max
URN:urn:nbn:de:bvb:824-opus4-7266
DOI:https://doi.org/10.17904/ku.opus-726
Advisor:Prof. Dr. Büschken, Joachim, Prof. Dr. Hoffmann, Thomas
Document Type:Doctoral thesis
Language of publication:English
Online publication date:2022/01/12
Date of first Publication:2022/01/12
Publishing Institution:Katholische Universität Eichstätt-Ingolstadt
Awarding Institution:Katholische Universität Eichstätt-Ingolstadt, Wirtschaftswissenschaftliche Fakultät
Date of final examination:2021/11/04
Release Date:2022/01/12
Tag:Hierarchical bayes model; Topic models
LDA
GND Keyword:Bayes-Lernen; Unüberwachtes Lernen; Computerlinguistik
Pagenumber:xvi, 159 Seiten : Illustrationen, Diagramme
Faculty:Wirtschaftswissenschaftliche Fakultät / Wirtschaftswissenschaften
Dewey Decimal Classification:6 Technik, Medizin, angewandte Wissenschaften
License (German):License LogoCreative Commons - CC BY-NC-ND - Namensnennung - Nicht kommerziell - Keine Bearbeitungen 4.0 International
Diese Webseite verwendet technisch erforderliche Session-Cookies. Durch die weitere Nutzung der Webseite stimmen Sie diesem zu. Unsere Datenschutzerklärung finden Sie hier.