Textbereitstellung für die maschinelle Erschließung
- Die Deutsche Nationalbibliothek wendet Verfahren der maschinellen Erschließung inzwischen auf Werke aus den Reihen O, B und H der Nationalbibliografie an. Mit zunehmendem Umfang der maschinellen Erschließung und der Diversifizierung der eingesetzten Erschließungsverfahren erfährt auch der Vorverarbeitungsschritt der Bereitstellung einer geeigneten Datenbasis eine immer größere Bedeutung. Mit unserem Beitrag möchten wir einen Einblick in unsere Überlegungen zu dieser Vorverarbeitung bieten. Sowohl Online-Publikationen, als auch nachträglich digitalisierte Inhaltsverzeichnisse von Printpublikationen müssen einen Extraktionsprozess durchlaufen, der eine Bereitstellung der Inhalte als maschinenlesbaren Text zu Ziel hat. Dazu werden auf die vorliegenden PDF- bzw. EPUB-Dateien verschiedene Extraktionsverfahren angewendet, die zu Plain Text führen, der der Erschließungssoftware zur Weiterverarbeitung übergeben werden kann. Insbesondere für den PDF-Standard existiert ein breites Angebot von Extraktionstools mit unterschiedlichem Funktionsumfang. Um hier die geeigneten Angebote erfolgreich selektieren zu können, muss ein Verständnis für die Qualität von Extraktionsergebnissen entwickelt und die spezifischen Anforderungen der Weiterverarbeitung durch Verfahren der maschinellen Erschließung identifiziert werden. Einen möglichen Ansatz zur Fehlerbehandlung bei der Textextraktion sehen wir in der Anwendung alternativer Textbereitstellungsverfahren, wie z.B. der optischen Zeichenerkennung (OCR). OCR-Verfahren sind etablierte Werkzeuge zur Rationalisierung unterschiedlichster Geschäftsprozesse, die zuletzt eine neue Relevanz bei der Bereitstellung von textbasiertem Trainingsmaterial für die großen Sprachmodelle des Deep Learning erfahren haben. Doch der erfolgreiche Einsatz von OCR und den dazugehörigen Werkzeugen zur Vor- und Nachbearbeitung ist eine komplexe, von zahlreichen Parametern abhängige Aufgabe, die hohen Aufwand erfordert, um zu qualitätsvollen Ergebnissen zu kommen.
Author: | Matthias Nagelschmidt |
---|---|
Parent Title (German): | TK 6: Sammlungen, Repositorien, Retrodigitalisierung und Kulturgut(schutz)/ Volltextdurchsuchbarkeit ausbauen (05.06.2024, 11:00 - 13:00, Saal A.3 / 1. OG) |
Document Type: | Conference publication (abstract) |
Language: | German |
Year of Completion: | 2024 |
Release Date: | 2024/05/10 |
Themes: | Erschließung, Linked Open Data, RDA |
German Bibliothekartage / BiblioCon: | 112. BiblioCon |
112. BiblioCon / Themenkreise / TK 6: Sammlungen, Repositorien, Retrodigitalisierung und Kulturgut(schutz) | |
Licence (German): | Deutsches Urheberrecht |