Refine
Document Type
Is part of the Bibliography
- no (6)
Keywords
- OCR (1)
- Texterkennung (1)
- Werkspezifisches Training (1)
- Workspecific training (1)
- text recognition (1)
Language
- German (6)
Hier wird das Serviceangebot der Universitätsbibliotheken Mannheim und Tübingen für die Erzeugung FAIRer Ground-Truth-Daten vorgestellt. Alle Schritte von der Datenauswahl über die Erzeugung der Ground-Truth-Daten selbst bis hin zur Veröffentlichung und Nachnutzung werden beleuchtet.
Durchsuchbare Volltexte historischer Drucke und Handschriften bieten einen zeitgemäßen Zugang zum Kulturgut vergangener Epochen und ermöglichen der Forschung und Öffentlichkeit, auf eine umfassende Palette von Informationen zuzugreifen. Die Möglichkeiten, die die verschiedenen Texterkennungsprogramme heute in diesem Bereich bieten, sind umfangreich, aber die Anwendung sowie die Vor- und Nachbearbeitung sind nicht immer intuitiv. Das Kompetenzzentrum OCR berät seit 2019 Informationseinrichtungen und wissenschaftliche Projekte bei der Anwendung von Transkriptions– und Texterkennungssoftware. Die Volltexterkennung von historischen Schriften eröffnet der Forschung neue Möglichkeiten im Umgang mit Quellen. Bibliotheken können somit nicht nur ihre eigenen Bestände erschließen, sondern auch ihre wissenschaftsunterstützenden Dienstleistungen entsprechend erweitern.
Vor der Textverarbeitung müssen einige Fragen beantwortet werden: Welchen rechtlichen Beschränkungen unterliegen die Werke? Ist die Bereitstellung von durchsuchbaren Volltexten im Einzelfall kritisch zu bewerten? Nach welchen Richtlinien werden die Texte transkribiert und Trainingsmaterial erzeugt? Wie wird mit Fehlerraten umgegangen? Ist die Nachnutzung des Trainingsmaterials oder der Modelle möglich und wie können diese gemäß den FAIR-Prinzipien bereitgestellt werden? Wenn ja, unter welchen Einschränkungen?
Zu all diesen Themen bietet das Kompetenzzentrum OCR Unterstützung und individuelle Beratung an. Darüber hinaus wird Dokumentation zu Texterkennungsprogrammen sowie Infrastruktur für Forschende zur Verfügung gestellt. Eine monatliche offene Sprechstunde sowie ein ergänzender FAQ-Bereich auf der Homepage runden das Angebot ab.
Volltexterschließung historischer Bestände stellt bis heute für Bibliotheken eine Herausforderung dar. Doch das, was nicht erschlossen ist, kann von der Öffentlichkeit und Forschungs-Community weder gefunden noch nachgenutzt werden. Genau hier setzt die Texterkennungs- und Transkriptionsplattform eScriptorium an und unterstützt Sie bei der Erschließung dieser wertvollen Dokumente.
Egal, ob es sich um eine Postkarte, eine historische Zeitung oder ein amtliches Dokument handelt, eScriptorium bietet Ihnen die Werkzeuge, um die Vergangenheit lesbar und zugänglich zu machen. Dabei ist eScriptorium eine quelloffene und kostenlose Transkriptionsplattform und so eine Alternative zu proprietären Programmen wie Transkribus. Sie ermöglicht die automatisierte oder manuelle Bearbeitung von handschriftlichen und gedruckten Texten auf dem eigenen PC oder Server. Die Plattform erfreut sich wachsender Beliebtheit in der OCR-Community und ermöglicht auch das Training von Modellen zur Layoutanalyse und Texterkennung.
Das Hands-On Lab bietet den Teilnehmenden einen Einblick in die Software und die neuesten Funktionen sowie deren praktische Anwendung. Anhand von realen Beispieldokumenten wird gemeinsam der Workflow von der automatischen Layouterkennung bis zur Transkription Schritt für Schritt durchlaufen. Die manuelle Korrektur der Ergebnisse, Annotationsmöglichkeiten sowie das Modelltraining anhand aktueller Standards wie der OCR-D Ground-Truth-Richtlinie werden behandelt. Die Teilnehmenden sollen in die Lage versetzt werden, eigenständig Trainingsmaterial zu erstellen, das Training in eScriptorium durchzuführen und eigene Digitalisate mit sehr guten Volltexten anzureichern.
Die Universitätsbibliothek Mannheim betreibt eine eigene Instanz von eScriptorium und stellt diese für den Kurs bereit. Daher wird lediglich ein eigener Laptop mit WLAN und aktuellem Browser benötigt. Fragen und Wünsche können vorab per E-Mail kommuniziert werden, auch Kurzentschlossene sind herzlich willkommen.
Automatisierte Optimierung und Strukturierung von OCR-Ergebnissen mit nachnutzbaren Werkzeugen
(2019)
Bibliotheken leisten einen wichtigen Beitrag zur Digitalisierung des kulturellen Erbes und ermöglichen Forschenden weltweit den Zugang zu diesen Werken. Textbasierte Dokumente werden häufig zusätzlich durch OCR (optical character recognition) erschlossen. Dies ermöglicht eine Suche nach Stichwörtern im gesamten Inhalt sowie weitere Analysemöglichkeiten. Vielen Bibliotheken fehlt es jedoch an Know-how und Werkzeugen, um optimale OCR-Ergebnisse zu erzielen oder weitere Strukturerkennungsschritte selbstständig auszuführen. Im Zuge des DFG-finanzierten Digitalisierungsprojekts "Aktienführer-Datenarchiv II" wurden mehrere softwaretechnische Werkzeuge entwickelt, um in einem einheitlichen Workflow sowohl den Umgang mit den OCR-Daten zu vereinfachen als auch die Ergebnisse zu optimieren. Unter anderem werden dabei die OCR-Ergebnisse durch die Kombination der Ausgaben mehrerer OCR-Engines verbessert und eine Strukturerfassung im Volltext, inklusive Tabellenextraktion, vorgenommen.In diesem Beitrag werden die entwickelten Lösungsansätze und Tools vorgestellt. Um sie für ähnliche Projekte nachnutzbar und anpassbar zu machen, sind alle Tools als Open-Source-Software verfügbar.
Bibliotheken und Archive in Deutschland arbeiten seit einigen Jahren mit freien oder kommerziellen OCR-Lösungen, um aus digitalisierten Beständen Volltexte zu generieren. Die Fehlerrate der Texterkennung und die damit verbundene Nutzbarkeit der Volltexte variieren hierbei stark. Besonders Druckwerke des 16. bis 19. Jahrhunderts stellen OCR-Lösungen vor Herausforderungen: historische Schriften (beispielsweise Fraktur), heterogene Satzspiegel und typographische Besonderheiten können die Texterkennung erschweren. Dabei profitieren meist genau diese Bestände von qualitativ hochwertigen Volltexten, denn teils existieren nur noch wenige physische Exemplare eines historischen Drucks oder die konservatorischen Bedingungen lassen eine Nutzung in situ nicht zu. Der digitale Volltext gewinnt hier eine wichtige Rolle, um historische Druckwerke zugänglich zu machen. Mithilfe eines werkspezifischen Nachtrainings lässt sich die Qualität der Texterkennung signifikant erhöhen. Als Bestandteil eines allgemeineren Trainingsprozesses von OCR-Lösungen, der die Fehlerrate für eine große Bandbreite von Schriften und Druckwerken reduziert, dient ein werkspezifisches Nachtraining der Feinjustierung der Texterkennung. Auch können so besondere Glyphen (z. B. astronomische Symbole, aber auch Zeichen wie die Siegrune der NS-Zeit), die für bestimmte Anwendungszwecke eine besondere Relevanz besitzen, von gängigen OCR-Lösungen allerdings nicht erkannt werden, nachtrainiert werden. Im Rahmen des DFG-geförderten Koordinierungsprojekts „OCR-D“ realisiert die Universitätsbibliothek Mannheim derzeit anwenderfreundliches werkspezifisches Training. Anhand ausgewählter Beispiele soll ein solcher Trainingsprozess dargestellt und auf seine Vorteile und Herausforderungen eingegangen werden.
Die Transkriptionssoftware eScriptorium stellt als Open-Source-Software eine freie Alternative zu Anwendungen wie Transkribus dar. eScriptorium lässt sich sowohl auf dem eigenen PC als auch auf einem Server betreiben und erfreut sich innerhalb der OCR-Community steigender Beliebtheit. Handgeschriebene und gedruckte Texte können automatisiert oder manuell segmentiert und transkribiert werden. Die Modelle für die Layoutsegmentierung und automatische Transkription (OCR) lassen sich nutzerfreundlich trainieren und stehen im Anschluss zur weiteren Verwendung beispielsweise in der Massen-OCR zur Verfügung. So wurden 2022 Volltexte für ausgewählte historische Drucke der Universitätsbibliothek Tübingen im Umfang von 650.000 Seiten erzeugt.
Das Hands-On Lab führt in die Erstellung von Trainingsmaterial (Ground Truth) sowie in das Modelltraining mit eScriptorium ein. Ziel des Trainings ist die Verbesserung der Layoutsegmentierung und OCR. Anhand von Praxisbeispielen und aktuellen Standardisierungsrichtlinien erhalten die Teilnehmenden Handlungsempfehlungen sowohl für die Ground-Truth-Erstellung als auch für das Training und können diese im Lab direkt an Beispielen testen und nachvollziehen. Ziel des Labs ist die Befähigung der Nutzer:innen, Ground Truth eigenhändig zu erstellen und das Training in eScriptorium selbständig durchzuführen und zu evaluieren. Die Teilnehmenden benötigen einen eigenen Laptop mit WLAN und aktuellem Web-Browser. Bei Ihrer Anmeldung per E-Mail können Sie gern Fragen und Wünsche äußern, auf die im Hands-On Lab eingegangen wird. Im Rahmen freier Kapazitäten sind auch Kurzentschlossene ohne Voranmeldung herzlich willkommen.
Viele Bibliotheken und Archive digitalisieren ihre historischen Druckwerke und machen diese auch im Internet zugänglich. Aber erst mit durchsuchbarem Text, der auch maschinell weiterverarbeitet werden kann, wird der historische Schatz wirklich gut erschlossen, und Alte Drucke werden zu modernen Forschungsdaten. Wer dies erkannt hat, verlässt sich häufig noch auf einen externen Dienstleister für die automatisierte Texterkennung per Software – die sogenannte OCR ("optical character recognition", also optische Zeichenerkennung). Das Hands-On-Lab bietet die Möglichkeit, OCR einmal selbst auszuprobieren, auf dem eigenen Notebook die Software Tesseract zu installieren und damit erste Gehversuche zur automatisierten Texterkennung zu machen. Vorlage können mitgebrachte Scans von Seiten aus historischen Büchern oder Beispiele aus dem Internet sein. Fortgeschrittene Anwender erhalten einen Einblick in das Training neuer oder verbesserter Modelle für die Texterkennung. Tesseract entstand in den 80er Jahren, wird aber bis heute aktiv weiterentwickelt und gepflegt und gehört mit zu den leistungsfähigsten Produkten für OCR. So ist es auch eine wichtige Komponente von OCR-D, der Koordinierten Förderinitiative zur Weiterentwicklung von Verfahren für die Optical Character Recognition (OCR) der Deutschen Forschungsgemeinschaft (DFG). Die Universitätsbibliothek Mannheim hat im Rahmen von OCR-D Tesseract weiterentwickelt und ist eine der Pilotbibliotheken von OCR-D. Die dabei gemachten Erfahrungen werden ebenfalls kurz vorgestellt. Bitte eigenes Notebook (Windows, macOS oder Linux) mitbringen!