Texterkennung: aktuelle Entwicklungen
Refine
Year of publication
- 2019 (5)
Document Type
Has Fulltext
- yes (5)
Is part of the Bibliography
- no (5)
Keywords
- non-Latin scripts (2)
- Area Studies (1)
- CJK (1)
- East Asian Studies (1)
- Forschungsdaten (1)
- Parallelisierung (1)
- Regionalstudien (1)
- Tesseract (1)
- nichtlateinische Schriften (1)
- parallelisation (1)
Language
- German (5)
Automatisierte Optimierung und Strukturierung von OCR-Ergebnissen mit nachnutzbaren Werkzeugen
(2019)
Bibliotheken leisten einen wichtigen Beitrag zur Digitalisierung des kulturellen Erbes und ermöglichen Forschenden weltweit den Zugang zu diesen Werken. Textbasierte Dokumente werden häufig zusätzlich durch OCR (optical character recognition) erschlossen. Dies ermöglicht eine Suche nach Stichwörtern im gesamten Inhalt sowie weitere Analysemöglichkeiten. Vielen Bibliotheken fehlt es jedoch an Know-how und Werkzeugen, um optimale OCR-Ergebnisse zu erzielen oder weitere Strukturerkennungsschritte selbstständig auszuführen. Im Zuge des DFG-finanzierten Digitalisierungsprojekts "Aktienführer-Datenarchiv II" wurden mehrere softwaretechnische Werkzeuge entwickelt, um in einem einheitlichen Workflow sowohl den Umgang mit den OCR-Daten zu vereinfachen als auch die Ergebnisse zu optimieren. Unter anderem werden dabei die OCR-Ergebnisse durch die Kombination der Ausgaben mehrerer OCR-Engines verbessert und eine Strukturerfassung im Volltext, inklusive Tabellenextraktion, vorgenommen.In diesem Beitrag werden die entwickelten Lösungsansätze und Tools vorgestellt. Um sie für ähnliche Projekte nachnutzbar und anpassbar zu machen, sind alle Tools als Open-Source-Software verfügbar.
e-rara.ch ist die Plattform für digitalisierte Drucke des 15. bis 20. Jahrhunderts aus Schweizer Bibliotheken und zählt derzeit rund 70.000 Titel mit 15,5 Millionen Digitalisaten. 2017 wurde im Rahmen des Projekts «e-rara.ch: Volltext» OCR für Titel ab Druckjahr 1830 und in Antiqua-Schriften eingeführt und auf fast 5.000 Titel angewendet. Diese Titel sind im Volltext durchsuchbar und die Volltexte sind in den downloadbaren PDFs den Bildern hinterlegt.Um Wissenschaft und Lehre ebenso wie einer breiten Öffentlichkeit verbesserte Nutzungsmöglichkeiten unserer Digitalisate zu bieten, wird seit August 2018 OCR auch auf Titel ab Druckjahr 1801 und in Frakturschrift angewendet. Eine Evaluation hat gezeigt, dass die verwendete OCR-Lösung ABBYY FineReader für Antiqua-Drucke aus dieser Zeit gute Ergebnisse liefert und ABBYY FineReader XIX ähnlich gute für Drucke in Frakturschrift. Die Werte für Zeichen- und Wortgenauigkeit liegen bei rund 98-99% respektive 93-95%.Die Ausweitung der Volltexterkennung bringt in der Umsetzung einige Probleme mit sich. So existiert in den vorhandenen Titelmetadaten kein Indikator für die Schriftart (Antiqua oder Fraktur). Da diese Information für die Auswahl der OCR-Lizenz nötig ist, muss dieser Arbeitsschritt manuell vorgenommen werden. Drucke in Frakturschrift enthalten außerdem oft Textstellen in Antiqua-Schriften, typischerweise in Latein oder romanischen Sprachen. In solchen Fällen muss für optimale Ergebnisse eine passende Graphieeinstellung gewählt werden, was eine sorgfältige Prüfung des einzelnen Drucks auf diese Eigenschaften voraussetzt.Grundsätzlich ist zu entscheiden, welche Erkennungsgenauigkeit angestrebt werden sollte und wie mit «schlechten» Ergebnissen umzugehen sei: Ist ein fehlerhafter Volltext besser als keiner?Der Vortrag thematisiert diese zweite Phase der OCR-Erweiterung für e-rara.ch, skizziert die gewählte Lösung und den Umgang mit auftretenden Problemen sowie Perspektiven der Volltexterkennung für die Plattform.
Im Zuge der Einrichtung eines modularen Digitalisierungsworkflows auf Basis von Open-Source-Komponenten wurden ausführliche Tests mit der offenen OCR-Software Tesseract durchgeführt. Da diese seit der Version 4.0 neuronale Netze verwendet, wie sie auch in kommerziellen Systemen zum Einsatz kommen, konnte im Vergleich zu früheren Versionen eine deutliche Verbesserung der Erkennungsraten beobachtet werden. Dies war für den Einsatz an der ULB ausschlaggebend. Im Vortrag wird anhand von zwei Beispielen dargestellt, wie Tesseract eingebunden wurde:Das erste Beispiel behandelt ein Zeitungsprojekt im Umfang von ca. einer Million Seiten. Die besondere Herausforderung stellt die große Menge an Material dar, das innerhalb kürzester Zeit die OCR durchlaufen muss: Aufgrund der stark wechselnden Segmentierung und Größe des Formats wird für die Texterkennung in der Regel mehr Zeit benötigt - da diese aber lediglich ein Zwischenschritt im Digitalisierungsprozess ist, müssen Ausgaben zeitnah bearbeitet werden, um den Projektplan einzuhalten. Für die Lösung wurden verschiedene Optionen, wie etwa eine Cluster-Lösung oder ein leistungsstarker Server mit einer separaten Lastverteilung in Betracht gezogen - diese Überlegungen und das Ergebnis werden vorgestellt.Das zweite Beispiel bezieht sich auf die umfangreichen Sammlungen des FID Nahost, für dessen arabische Titel bislang keine OCR mit zufriedenstellender Qualität geliefert werden konnte. Erste Tests mit den vorhandenen Trainingsdaten von Tesseract lieferten hier erfolgversprechende Erkennungsraten, die in der zweiten Förderphase des FID weiter verbessert und für die Nachnutzung bereitgestellt werden sollen. Grundlage liefern u.a. die umfangreichen GroundTruth-Daten von KrakenOCR. Da der FID neben Arabisch auch Titel aus anderen Sprachen sammelt und Bestände aus mehreren Jahrhunderten vorhanden sind, existieren vielfältige Problemstellungen mit hohem Bedarf an effektivem Training der Software. Dies erscheint mit Tesseract lösbar.
Noch immer ist es eine Vision, dass der gesamte Bestand der in den Verzeichnissen der im deutschen Sprachraum erschienen Drucke des 16.-18. Jh. der Wissenschaft als hochqualitativer Volltext angeboten wird. Einer der Gründe ist, dass in der Forschung entwickelte OCR -Technologien noch nicht für die Anwendung in Kultureinrichtungen zur Massenvolltextdigitalisierung implementiert wurden. Dieser Integrations - und Koordinationsaufgaben widmet sich das Projekt OCR-D und hat mit dem OCR-D Workflow eine Lösung zur Massenvolltextdigitalisierung entwickelt. Für die kommende Phase der Massenprozessierung der digitalisierten Bestände müssen die entsprechenden logistischen und technischen Voraussetzungen geschaffen werden.Um die Hürden auf dem Weg der Realisierung dieser Vision zu bewältigen wird von der DFG seit 2015 die "Koordinierte Förderinitiative zur Weiterentwicklung von Verfahren der Optical Character Recognition" (OCR-D) gefördert. Ziel der Initiative ist die automatische Texterkennung, insbesondere für historische Drucke zu verbessern, damit so Forschungsdaten für die Wissenschaft angeboten werden können.In der ersten Projektphase wurden Bedarfe für die Weiterentwicklung der OCR ermittelt und analysiert. Die Vorstellungen dieser Untersuchungsergebnisse stießen auf den Bibliothekartagen 2016 und 2017 auf großes Interesse. Seit Anfang 2018 werden in acht Modulprojekten Lösungen für diese Bedarfe entwickelt, u.a. zur Layout-Erkennung, Nachkorrektur und Langzeitarchivierung. Die entwickelten Lösungen fließen in den OCR-D Workflow ein. Parallel zu den technischen Arbeiten werden die DFG-Praxisregeln "Digitalisierung" überarbeitet. Schon heute empfiehlt die DFG Antragstellern die ihre Bestände volltextdigitalisieren möchten mit dem Koordinationsprojekt OCR-D in Kontakt zu treten. Der Vortrag möchte den aktuellen Stand der Entwicklungsarbeit darstellen sowie einen Ausblick geben und bietet Interessierten die Möglichkeit sich mit dem Koordinierungsgremium zu vernetzen.
Nicht-lateinische Schriften (NLS) reichen von alten Schriften wie Hieratisch oder Hethitisch über alte und neue semitische Schriften wie Akkadisch, Arabisch oder Hebräisch bis zu ostasiatischen Schriften. Sie alle haben die Gemeinsamkeit, dass Forschungsdatenmanagement und Kuratierungstechnologien für nicht-lateinische Schriften nicht oder nur rudimentär entwickelt sind. Bereitstellung von Dienstleistungen für Forschung und Lehre für Fächer mit mit diesen Schriften stellt wissenschaftliche Bibliotheken daher vor zahlreiche Herausforderungen. An der Campusbibliothek der Freien Universität Berlin werden in Zusammenarbeit mit den Instituten die jeweiligen fachspezifischen Anforderungen erforscht. Im Vortrag sollen verschiedene Kooperationen, Projekte und Netzwerke vorgestellt werden, die sich mit fachspezifischen und technischen Lösungen beschäftigen. Schwerpunkte sind dabei a) die Einbeziehung von Forschungs- und Digital-Humanities-Projekten mit NLS-Bezug aus Fachdisziplinen wie Ägyptologie, Arabistik oder Japanologie sowie die FID und Fachgesellschaften, b) Vorstellung von konkreten Beispielen (OCR, Codierung, Retrieval, Metadatenmodelle, Interoperabilität, Annotationen, Kalendersysteme, Normdaten, etc.) und c) die Etablierung eines Expertennetzwerks NLS.