95, 96 oder 100 Prozent. OCR-D
Refine
Year of publication
- 2022 (6)
Document Type
Has Fulltext
- yes (6)
Is part of the Bibliography
- no (6)
Keywords
- OCR (3)
- Deutsches Zeitungsportal (1)
- Digitalisierung (1)
- HTR (1)
- Handschriften (1)
- Handschriftenportal (1)
- Historische Zeitungen (1)
- OCR-BW (1)
- OCR-D (1)
- Software (1)
Language
- German (6)
Bibliotheken und Archive in Deutschland arbeiten seit einigen Jahren mit freien oder kommerziellen OCR-Lösungen, um aus digitalisierten Beständen Volltexte zu generieren. Die Fehlerrate der Texterkennung und die damit verbundene Nutzbarkeit der Volltexte variieren hierbei stark. Besonders Druckwerke des 16. bis 19. Jahrhunderts stellen OCR-Lösungen vor Herausforderungen: historische Schriften (beispielsweise Fraktur), heterogene Satzspiegel und typographische Besonderheiten können die Texterkennung erschweren. Dabei profitieren meist genau diese Bestände von qualitativ hochwertigen Volltexten, denn teils existieren nur noch wenige physische Exemplare eines historischen Drucks oder die konservatorischen Bedingungen lassen eine Nutzung in situ nicht zu. Der digitale Volltext gewinnt hier eine wichtige Rolle, um historische Druckwerke zugänglich zu machen. Mithilfe eines werkspezifischen Nachtrainings lässt sich die Qualität der Texterkennung signifikant erhöhen. Als Bestandteil eines allgemeineren Trainingsprozesses von OCR-Lösungen, der die Fehlerrate für eine große Bandbreite von Schriften und Druckwerken reduziert, dient ein werkspezifisches Nachtraining der Feinjustierung der Texterkennung. Auch können so besondere Glyphen (z. B. astronomische Symbole, aber auch Zeichen wie die Siegrune der NS-Zeit), die für bestimmte Anwendungszwecke eine besondere Relevanz besitzen, von gängigen OCR-Lösungen allerdings nicht erkannt werden, nachtrainiert werden. Im Rahmen des DFG-geförderten Koordinierungsprojekts „OCR-D“ realisiert die Universitätsbibliothek Mannheim derzeit anwenderfreundliches werkspezifisches Training. Anhand ausgewählter Beispiele soll ein solcher Trainingsprozess dargestellt und auf seine Vorteile und Herausforderungen eingegangen werden.
The Moravian Library in Brno (MZK) has an extensive digital library containing a wide range of digitized documents. Most of these documents include OCR version used mainly for search and discovery purposes. For some document categories, the standard OCR did not produce adequate results: most notably manuscripts, old prints with variants of gothic script and scans of newspapers from microfilms. To solve this problem, MZK joined forces with the Brno University of Technology to develop a machine learning based OCR system for these categories of documents. Currently, the results of the PERO project can be tested on-line either through a web-based interface or an API. The software is open source and is already in use by several institutions. The paper will present current capabilities of the system as well as some of the secondary results of the project.
Das große Potenzial von Zeitungen als wichtige Quelle für die Geschichtswissenschaften und die interessierte Öffentlichkeit konnte lange Zeit nur schwer gehoben werden – die lückenhafte Überlieferung, die Zerstreuung vieler Bestände auf unterschiedliche Bibliotheken und Archive, die mangelhafte Erschließung verhinderten einen einfachen Zugang zu historischen Zeitungen. Das Deutsche Zeitungsportal, das im Rahmen eines DFG-Projektes aufgebaut und im Herbst 2021 gelauncht wurde, soll hier Abhilfe schaffen. Es führt digititalisierte historische Zeitungen aus verschiedenen Bibliotheken in einem Portal zusammen und macht sie den NutzerInnen über eine beständeübergreifende Volltextsuche zugänglich. Langfristiges Ziel des Projektes ist es, einmal alle digitalisierten, historischen Zeitungen aus deutschen Kultureinrichtungen in einem Portal zu vereinen. Der Vortrag stellt kurz die Hintergründe, Rahmenbedingungen und Kernziele des Projekts vor, um dann die wichtigsten Funktionalitäten zu demonstrieren: Welche Inhalte stehen zur Verfügung? Welche Suchmöglichkeiten bietet das Zeitungsportal? Wie funktionieren die browsenden Einstiege? Anschließend geht der Vortrag darauf ein, wie Bibliotheken sich mit ihren Zeitungsbeständen am Deutschen Zeitungsportal beteiligen können. Als Sub-Portal der Deutschen Digitalen Bibliothek (DDB) baut das Deutsche Zeitungsportal auf die von der DDB bekannten Prozesse auf, allerdings gibt es bei der Lieferung von Zeitungsdaten einige Besonderheiten zu beachten. Abschließend wird auf die zweite Projektphase und die dafür geplanten Funktionen eingegangen.
Massendigitalisierung mit OCR-D: Anwendungsmöglichkeiten für Bibliotheken und Community-Aktivitäten
(2022)
Die Deutsche Forschungsgemeinschaft (DFG) fördert seit 2015 mit dem Projekt OCR-D die Entwicklung von Werkzeugen für die Massendigitalisierung historischer Dokumente. Im Frühjahr 2021 begann die dritte und abschließende Phase. In dieser wird die automatische Generierung von Volltexten der VD 16, VD 17 und VD 18 konzeptionell und technisch in verschiedenen Bibliotheken und anderen Einrichtungen vorbereitet sowie implementiert. Die Verstetigung und Optimierung der OCR-D-Software wird begleitet von vier Projekten, die OCR-D in bestehende Anwendungen und Infrastrukturen implementieren, sowie von drei Modulprojekten, die OCR-D-Werkzeuge weiter optimieren. Im Vortrag und der begleitenden Präsentation der OCR-D-Software werden der Projektstand, die Ziele sowie die Möglichkeiten und Funktionsweisen der Software vorgestellt. Im Fokus steht dabei, welche Möglichkeiten Bibliotheken mit digitalen Beständen geboten werden, effizient und mit niedrigen Fehlerquoten Volltexte ihrer Bestände zu generieren. OCR-D ist individuell für verschiedene Digitalisierungsworkflows nutzbar. Die Erstellung von Volltexten kann bedarfsgerecht skalierbar eingerichtet werden. Welche Möglichkeiten die Software für die unterschiedlichen Bedarfe in der diversen Bibliothekslandschaft bietet, wird ebenfalls Gegenstand des Vortrags sein. OCR-D ist nicht nur eine Software, sondern eine Community von Expert:innen, Praktiker:innen und Entwickler:innen. Für diese Gemeinschaft werden verschiedene offene Kommunikationskanäle und Möglichkeiten geboten, teilzuhaben. Im zweiten Teil des Vortrages wird ein Einblick in unsere Community-Plattformen gegeben. So kann ein niedrigschwelliger Zugang dafür genutzt werden, auch für technisch nicht versierte Anwender:innen, Hilfe und Unterstützung bei der Implementierung der Software in der eigenen Bibliothek zu erhalten.
Seit mehr als 2 Jahren entwickeln wir unter der Gesamtprojektleitung der Staatsbibliothek zu Berlin, gemeinsam mit der Universitätsbibliothek Leipzig, Bayerischen Staatsbibliothek und Herzog August Bibliothek das Handschriftenportal. Dieser zukünftige Bibliotheksservice soll das heutige Erfassungssystem und darauf aufbauende Web Präsentation Manuscripta Mediaevalia ablösen. Es soll der zentrale Nachweis der jeweils aktuell verfügbaren Erschließungs- und Bilddaten zu Buchhandschriften des Mittelalters und Neuzeit in deutschen Sammlungen werden. Die Herausforderungen der Softwareentwicklung liegen in der Gesamtkomplexität, welche sich aus dem Zusammenspielt von Organisation, Kommunikation von Menschen, den Anforderungen und einer technischen Umsetzung ergibt. Die Erfahrungen in dem Projekt haben gezeigt, dass es dabei um den Aufbau nachhaltigen Wissens geht. Das eigenständige und kontinuierliche Erzeugen von Softwareprodukten und Bereitstellung von Diensten, sichern meiner Meinung nach das langfristige Überleben von Bibliotheken in einer digitalisierten Welt. Das bedeutet aber auch, dass die Softwareentwicklung zum Handwerkszeug einer Bibliothek gehören muss. Dieser Erfahrungsbericht soll anderen Einrichtungen einige Hinweise zum Umgang mit den großen Herausforderungen aber auch einen Überblick über die entdeckten Chancen geben. Als kurze Anregung nenne ich folgende Themenstichpunkte: Umgang mit Herausforderungen Anforderungsanalyse mittels Domain Driven Design und Event Storming Softwarearchitektur für verteilte Systeme, Microservices Nachhaltige Softwareentwicklung auf Basis von Continuous Integration bzw. Continuous Deployment Entdeckte Chancen, Fachliche Anwendung auf Basis einer Graphendatenbank Beteiligung an bibliotheksspezifischer Open Source Technologie Datenintegration auf Basis von Apache Kafka Anschlussfähigkeit im Bereich des maschinellen Lernens und der künstlichen Intelligenz
Nach der Digitalisierung von historischen Dokumenten ist der nächste konsequente Schritt die Anreicherung der Digitalisate im Präsentationssystem mit einem durchsuchbaren Volltext, um die Zugänglichkeit zu den Texten weiter zu erhöhen und neue Forschungsfragen an das Material zu ermöglichen. Während in vielen Bibliotheken bereits verschiedene Möglichkeiten zur automatischen Texterkennung von historischen Druckwerken genutzt werden, ist die Zurückhaltung bei Handschriften vielfach höher, da handschriftliche Quellen die automatische Texterkennung vor neue Herausforderungen stellen. Mithilfe von Machine Learning wurden auf dem Feld der automatischen Handschriftenerkennung in den letzten Jahren jedoch große Fortschritte gemacht, die von Bibliotheken genutzt werden können, um ihre eigenen Bestände weiter zu erschließen, aber auch, um sich als Servicepartnerin für die Wissenschaft zu etablieren. Im Rahmen des Projekts OCR-BW (https://ocr-bw.bib.uni-mannheim.de/) werden seit 2019 Transkribus und ab 2021 auch eScriptorium für die Erzeugung von automatischen Volltexten für Handschriften systematisch an ausgewählten Corpora getestet. Die im bisherigen Projektverlauf erzielten Ergebnisse sind sehr positiv und zeigen, dass eine automatische Handschriftenerkennung mit einer Zeichenfehlerrate von unter 5 % möglich und erwartbar ist. Bereits veröffentlichte Volltexte haben die Sichtbarkeit und das Forschungsinteresse an diesen Materialien deutlich erhöht. Das Projekt zielt außerdem darauf ab, die Wissenschaft bei der Vorbereitung und Durchführung von Forschungsvorhaben zu unterstützen. An Beispielen vom mittelalterlichen Gebetbuch über Großbestände wie Juristische Konsilien bis hin zum Expeditionstagebuch des 20. Jahrhunderts soll gezeigt werden, mit welchem Ressourcenaufwand welche Ergebnisse erzielt werden können.