Evaluation von offenen Large Language Modellen zum Einsatz in Bibliotheken
Evaluation of Open Large Language Models for Use in Libraries
- Das Thema der künstlichen Intelligenz und insbesondere auch der Sprachmodelle spielt für Bibliotheken eine Rolle steigender Wichtigkeit. Allerdings können proprietäre Modelle aufgrund von Kosten oder Anforderungen an den Datenschutz nicht immer von Bibliotheken genutzt werden. Ziel dieser Masterarbeit ist es, verschiedene offene Sprachmodelle darauf zu untersuchen, wie gut sie sich für einen Einsatz in Bibliotheken eignen könnten. Dazu werden zunächst in einem theoretischen Teil einige Aspekte rund um Sprachmodelle vorgestellt. Darunter fallen unter anderem der Aufbau, die Evaluation anhand von Benchmarks und das Finetuning von Sprachmodellen. Außerdem werden drei offene Sprachmodelle vorgestellt und rechtliche Aspekte in Bezug auf Sprachmodelle untersucht. Anschließend werden in dem praktischen Teil dieser Arbeit verschiedene offene Sprachmodelle auf ihre Leistungsfähigkeit in der deutschen Sprache getestet, sowie ein Finetuning und eine Evaluation eines Modells im Rahmen der Prüfungsvorbereitung der Auszubildenden der Stadtbücherei Frankfurt vorgenommen. Die Auswertung der Ergebnisse zeigt, dass einige Sprachmodelle auch im Deutschen gute Leistungen erbringen können. Jedoch konnten mit dem Finetuning eines Modells noch keine Ergebnisse erreicht werden, die den qualitativen Anforderungen einer Prüfungsvorbereitung für Auszubildende gerecht werden. Ein Einsatz zu Demonstrationszwecken oder in moderierten Bereichen, wie beispielsweise in Workshops, ist allerdings denkbar.
- Artificial Intelligence and especially large language models are playing an increasingly important role for libraries. However, proprietary language models cannot always be used by libraries due to their cost as well as the libraries data protection requirements. The goal of this master thesis is to test different open language models and investigate whether they are suitable for use in libraries. For this, first some theoretical aspects concerning language models are presented. This includes, among others, the architecture, the evaluation with benchmarks and the fine-tuning of language models. Additionally, three open language models are presented and legal aspects surrounding language models are examined. Afterwards, in the practical part of this thesis, different open models are tested for their performance with the German language, as well as a fine-tuning and an evaluation of one of these models is performed in the context of the examination preparation that takes place for the apprentices of the Frankfurt Public Library. The analysis of the results show that some language models can show good results with the German language. However, the fine-tuning of the model does not reach the qualitative requirements for use in examination preparation for the apprentices. On the other hand, the use for demonstration purposes or within moderated areas, such as workshops, can be considered.
| URN: | urn:nbn:de:kobv:526-opus4-20382 |
|---|---|
| DOI: | https://doi.org/10.15771/MA_2025_2 |
| Author: | Jana Eigelsbach |
| Advisor: | Janine BreßlerORCiD, Janett MohnkeORCiDGND |
| Document Type: | Master's Thesis |
| Language: | German |
| Year of Publication: | 2025 |
| Page Number: | 115 |
| Faculties an central facilities: | Wildau Institute of Technology (WIT) |
| Fachbereich Wirtschaft, Informatik, Recht | |
| Publishing Institution: | Technische Hochschule Wildau |
| Granting Institution: | Technische Hochschule Wildau |
| Date of final exam: | 2025/02/21 |
| Tag: | Künstliche Intelligenz; Sprachmodell |
| Dewey Decimal Classification: | 0 Informatik, Informationswissenschaft, allgemeine Werke / 02 Bibliotheks- und Informationswissenschaften / 025 Bibliothekarische Tätigkeiten |
| TH Wildau theses: | Bibliotheksinformatik |
| Licence (German): | Creative Commons - CC BY-SA - Namensnennung - Weitergabe unter gleichen Bedingungen 4.0 International |
| Suggested citation: | Eigelsbach, J. (2025). Evaluation von offenen Large Language Modellen zum Einsatz in Bibliotheken (Masterarbeit, Technische Hochschule Wildau). https://doi.org/10.15771/MA_2025_2 |
| Release Date: | 2025/05/19 |



