Refine
Document Type
Is part of the Bibliography
- no (4)
Keywords
- OCR (1)
- Texterkennung (1)
- Werkspezifisches Training (1)
- Workspecific training (1)
- text recognition (1)
Language
- German (4)
Automatisierte Optimierung und Strukturierung von OCR-Ergebnissen mit nachnutzbaren Werkzeugen
(2019)
Bibliotheken leisten einen wichtigen Beitrag zur Digitalisierung des kulturellen Erbes und ermöglichen Forschenden weltweit den Zugang zu diesen Werken. Textbasierte Dokumente werden häufig zusätzlich durch OCR (optical character recognition) erschlossen. Dies ermöglicht eine Suche nach Stichwörtern im gesamten Inhalt sowie weitere Analysemöglichkeiten. Vielen Bibliotheken fehlt es jedoch an Know-how und Werkzeugen, um optimale OCR-Ergebnisse zu erzielen oder weitere Strukturerkennungsschritte selbstständig auszuführen. Im Zuge des DFG-finanzierten Digitalisierungsprojekts "Aktienführer-Datenarchiv II" wurden mehrere softwaretechnische Werkzeuge entwickelt, um in einem einheitlichen Workflow sowohl den Umgang mit den OCR-Daten zu vereinfachen als auch die Ergebnisse zu optimieren. Unter anderem werden dabei die OCR-Ergebnisse durch die Kombination der Ausgaben mehrerer OCR-Engines verbessert und eine Strukturerfassung im Volltext, inklusive Tabellenextraktion, vorgenommen.In diesem Beitrag werden die entwickelten Lösungsansätze und Tools vorgestellt. Um sie für ähnliche Projekte nachnutzbar und anpassbar zu machen, sind alle Tools als Open-Source-Software verfügbar.
Viele Bibliotheken und Archive digitalisieren ihre historischen Druckwerke und machen diese auch im Internet zugänglich. Aber erst mit durchsuchbarem Text, der auch maschinell weiterverarbeitet werden kann, wird der historische Schatz wirklich gut erschlossen, und Alte Drucke werden zu modernen Forschungsdaten. Wer dies erkannt hat, verlässt sich häufig noch auf einen externen Dienstleister für die automatisierte Texterkennung per Software – die sogenannte OCR ("optical character recognition", also optische Zeichenerkennung). Das Hands-On-Lab bietet die Möglichkeit, OCR einmal selbst auszuprobieren, auf dem eigenen Notebook die Software Tesseract zu installieren und damit erste Gehversuche zur automatisierten Texterkennung zu machen. Vorlage können mitgebrachte Scans von Seiten aus historischen Büchern oder Beispiele aus dem Internet sein. Fortgeschrittene Anwender erhalten einen Einblick in das Training neuer oder verbesserter Modelle für die Texterkennung. Tesseract entstand in den 80er Jahren, wird aber bis heute aktiv weiterentwickelt und gepflegt und gehört mit zu den leistungsfähigsten Produkten für OCR. So ist es auch eine wichtige Komponente von OCR-D, der Koordinierten Förderinitiative zur Weiterentwicklung von Verfahren für die Optical Character Recognition (OCR) der Deutschen Forschungsgemeinschaft (DFG). Die Universitätsbibliothek Mannheim hat im Rahmen von OCR-D Tesseract weiterentwickelt und ist eine der Pilotbibliotheken von OCR-D. Die dabei gemachten Erfahrungen werden ebenfalls kurz vorgestellt. Bitte eigenes Notebook (Windows, macOS oder Linux) mitbringen!
Bibliotheken und Archive in Deutschland arbeiten seit einigen Jahren mit freien oder kommerziellen OCR-Lösungen, um aus digitalisierten Beständen Volltexte zu generieren. Die Fehlerrate der Texterkennung und die damit verbundene Nutzbarkeit der Volltexte variieren hierbei stark. Besonders Druckwerke des 16. bis 19. Jahrhunderts stellen OCR-Lösungen vor Herausforderungen: historische Schriften (beispielsweise Fraktur), heterogene Satzspiegel und typographische Besonderheiten können die Texterkennung erschweren. Dabei profitieren meist genau diese Bestände von qualitativ hochwertigen Volltexten, denn teils existieren nur noch wenige physische Exemplare eines historischen Drucks oder die konservatorischen Bedingungen lassen eine Nutzung in situ nicht zu. Der digitale Volltext gewinnt hier eine wichtige Rolle, um historische Druckwerke zugänglich zu machen. Mithilfe eines werkspezifischen Nachtrainings lässt sich die Qualität der Texterkennung signifikant erhöhen. Als Bestandteil eines allgemeineren Trainingsprozesses von OCR-Lösungen, der die Fehlerrate für eine große Bandbreite von Schriften und Druckwerken reduziert, dient ein werkspezifisches Nachtraining der Feinjustierung der Texterkennung. Auch können so besondere Glyphen (z. B. astronomische Symbole, aber auch Zeichen wie die Siegrune der NS-Zeit), die für bestimmte Anwendungszwecke eine besondere Relevanz besitzen, von gängigen OCR-Lösungen allerdings nicht erkannt werden, nachtrainiert werden. Im Rahmen des DFG-geförderten Koordinierungsprojekts „OCR-D“ realisiert die Universitätsbibliothek Mannheim derzeit anwenderfreundliches werkspezifisches Training. Anhand ausgewählter Beispiele soll ein solcher Trainingsprozess dargestellt und auf seine Vorteile und Herausforderungen eingegangen werden.
Die Transkriptionssoftware eScriptorium stellt als Open-Source-Software eine freie Alternative zu Anwendungen wie Transkribus dar. eScriptorium lässt sich sowohl auf dem eigenen PC als auch auf einem Server betreiben und erfreut sich innerhalb der OCR-Community steigender Beliebtheit. Handgeschriebene und gedruckte Texte können automatisiert oder manuell segmentiert und transkribiert werden. Die Modelle für die Layoutsegmentierung und automatische Transkription (OCR) lassen sich nutzerfreundlich trainieren und stehen im Anschluss zur weiteren Verwendung beispielsweise in der Massen-OCR zur Verfügung. So wurden 2022 Volltexte für ausgewählte historische Drucke der Universitätsbibliothek Tübingen im Umfang von 650.000 Seiten erzeugt.
Das Hands-On Lab führt in die Erstellung von Trainingsmaterial (Ground Truth) sowie in das Modelltraining mit eScriptorium ein. Ziel des Trainings ist die Verbesserung der Layoutsegmentierung und OCR. Anhand von Praxisbeispielen und aktuellen Standardisierungsrichtlinien erhalten die Teilnehmenden Handlungsempfehlungen sowohl für die Ground-Truth-Erstellung als auch für das Training und können diese im Lab direkt an Beispielen testen und nachvollziehen. Ziel des Labs ist die Befähigung der Nutzer:innen, Ground Truth eigenhändig zu erstellen und das Training in eScriptorium selbständig durchzuführen und zu evaluieren. Die Teilnehmenden benötigen einen eigenen Laptop mit WLAN und aktuellem Web-Browser. Bei Ihrer Anmeldung per E-Mail können Sie gern Fragen und Wünsche äußern, auf die im Hands-On Lab eingegangen wird. Im Rahmen freier Kapazitäten sind auch Kurzentschlossene ohne Voranmeldung herzlich willkommen.