Refine
Document Type
Has Fulltext
- no (6)
Is part of the Bibliography
- no (6) (remove)
Language
- German (6)
„Statt Bücher zu lesen, werden wir bald ein GPT [Generative pre-trained transformers] auf der Basis dieser Bücher erstellen und das KI-System nutzen, um den Inhalt direkt für unseren Anwendungsfall bereitzustellen“[1] Diese Aussage ist keine Vision, sondern mit Diensten wie sie im Bereich des digitalen Bestandes von Tageszeitungen in der Nationalbibliothek Luxemburg (https://chat.eluxemburgensia.lu/) experimentell oder nur für einen begrenzten Bestand angeboten werden, Realität. Einen direkten Einfluss auf die Leistung der Recherchesysteme oder solcher KI-Systeme hat dabei die Genauigkeit der Texterkennung der Volltextdigitalisierung. KI-basierte OCR-Systeme verwenden Methoden des maschinellen Lernens. Grundlage dieses Lernens ist Ground Truth (GT), d.h. manuell annotierte Trainings- und Evaluationsdaten. Damit die Ergebnisse der OCR vergleichbar und in ihrer Qualität messbar sind, sind Standards und Richtlinien für Trainingsmaterialien notwendig. Seit 2014 arbeitet das Projekt OCR-D gefördert von der DFG an der Volltextdigitalisierung von historischen Beständen aus dem 16. bis zum 18. Jahrhundert. Dabei war und ist Projektinhalt eine frei verfügbare Software-Basis zu schaffen und die koordinierte Volltextdigitalisierung von über einer Million bibliographischer beschriebener Titel in den VD (Verzeichnisse der im deutschsprachigen Raum erschienenen Drucke) mit dem OCR-D-Framework in den Bibliotheken zu begleiten. Für das Training wurde mit den OCR-D-GT-Guidelines[2] ein Rahmen geschaffen, der es ermöglicht, dass die Bibliotheken GT kollaborativ nutzen und austauschen können. Der Vortrag soll einen Überblick über dieses Regelwerk und die von OCR-D angebotenen Möglichkeiten der Speicherung sowie des Austauschs des GT geben.
[1]: Gerst, Danny: OpenAI sägt Hälfte der KI-Startups ab – und dann fast sich selbst. in: heise online, 24.11.2023.
[2]: https://ocr-d.de/goto/gt-guidelines
Die Bereitstellung qualitativ hochwertiger Volltexte ist eine Voraussetzung für die Erschließung umfangreicher bibliothekarischer Bestände und zugleich Grundlage für nachgelagerte Verfahren wie Normdatenverknüpfung oder automatische Sacherschließung. Während die Evaluation von OCR bislang meist als einmalige und rein manuelle Aktivität verstanden wurde, skaliert dieser Ansatz nicht für die Massenvolltextdigitalisierung. Stattdessen wird zunehmend Ground Truth (GT), d.h. manuell erstellte, qualitativ einwandfreie Transkription, für die OCR-Evaluation und darüber hinaus erstellt.
Die Nachnutzbarkeit von GT ist dann am höchsten, wenn bei der Erstellung Spezifikationen über Formate und Verfahren eingehalten werden. Zwar ist der Aufwand von GT-getriebener Evaluation substantiell höher als für einmalige manuelle Evaluationen (z.B. Bernoulli-Experiment); dies wird jedoch aufgewogen durch die sehr viel höhere Verlässlichkeit und Aussagekraft der ermittelten Zahlen.
Sowohl für Annotation und Repräsentation der GT als auch für die Auswertungsverfahren zur OCR-Evaluation sind weitere Standardisierungen notwendig. Darüber hinaus kann GT auch zum Training von OCR und Layoutanalyse sowie in nachgelagerten Aufgaben verwendet werden, wofür ebenfalls spezifische Anforderungen zu definieren sind.
Im Rahmen der DFG-Förderinitiative OCR-D wurden hierfür eine Reihe von Richtlinien entwickelt. Neben einer Überarbeitung der DFG-Praxisregeln Digitalisierung im Hinblick auf OCR werden Richtlinien zur Erstellung von GT entwickelt. Auch dazu, wie GT nachhaltig und vielseitig anwendbar disseminiert werden sollte, werden Best Practices kommuniziert. Diese und weitere Aspekte der Standardisierung rund um OCR werden im Vortrag diskutiert und auch praktische Empfehlungen für OCR-Vorhaben gegeben.
Die automatische Volltexterkennung erfordert neben technischen Lösungen den Aufbau und Erhalt von Kompetenzen rund um OCR in den Kulturerbeeinrichtungen. Das Hands-on Lab bietet daher einen Einblick in die Einsatzmöglichkeiten von OCR-D: Die UB Braunschweig, die SLUB Dresden und die UB Mannheim entwickeln eine OCR-D-Integration in Kitodo.Production. Wir zeigen, wie mithilfe von Kitodo zukünftig, abhängig von der erforderlichen Skalierbarkeit, optimale OCR-Workflows genutzt werden können. Zudem probieren wir eine entwickelte Lösung für OCR on Demand im DFG-Viewer aus. Die ULB Sachsen-Anhalt entwickelt ODEM (OCR-D Erweiterung für Massendigitalisierung) als eine niedrigschwellige, vollautomatische Lösung, auch um zu demonstrieren, wie OCR-D in hausintern entwickelte Digitalisierungsworkflows integriert werden kann. Besonderes Augenmerk liegt hier auf einer leichtgewichtigen Architektur, hoher Qualität auch für heterogene Sprach- und Schriftbilder und Anreicherung bestehender Metadaten. Das Projekt OPERANDI von SUB und GWDG Göttingen erhöht den Durchsatz unter anderem durch die Nutzung von Hochleistungsrechnern, Workflow-Parallelisierung, Zwischenspeicherung und Verbesserung der Prozessoren. Wir stellen die Architektur von OPERANDI vor und diskutieren Möglichkeiten, wie damit die massenhafte OCR der VD zentral geleistet werden kann. Schließlich probieren wir OCR4all aus, eine grafische Oberfläche für alle Aspekte eines OCR-Workflows, das im Rahmen des Projekts OCR4all-libraries der Universität Würzburg und des GEI Braunschweig auf die Verwendung von OCR-D-Komponenten umgebaut wird. Dank der intuitiven Benutzeroberfläche ermöglicht OCR4all den raschen Einstieg in OCR-D und Workflows können mit anderen Implementierungsprojekten hochskaliert werden. Die Teilnehmenden haben am Ende des Workshops einen Überblick darüber, wie sie OCR-D im eigenen Haus einsetzen können, und haben erste praktische Erfahrungen mit den vielfältigen Möglichkeiten der Texterkennung gesammelt
Seit 2015 wird im DFG-geförderten Projekt OCR-D (Koordinierte Förderinitiative zur Weiterentwicklung von Verfahren der Optical Character Recognition) an Lösungen für die Massenvervolltextung von digitalisierten Beständen in Bibliotheken, insbesondere der Verzeichnisse der im deutschen Sprachraum erschienenen Drucke (VD), gearbeitet. Während in den ersten beiden Projektphasen die Entwicklung von Werkzeugen für alle Aspekte des OCR-Workflows im Vordergrund stand, ist der Fokus in Phase III von OCR-D (2021–2024) die Entwicklung von Lösungen für hohe Qualität bei hohem Durchsatz für die Massendigitalisierung, die in verschiedenen Kontexten und Infrastrukturen nachnutzbar sind. Auf dieser Grundlage arbeiten vier Implementierungsprojekte daran, OCR-D unter anderem in bestehende Lösungen wie Kitodo, OCR4all oder eigenentwickelte Digitalisierungsworkflows zu integrieren und den Einsatz von OCR-D auf Hochleistungsrechnern zu ermöglichen. Zudem arbeiten drei fortgeführte Modulprojekte daran, ausgewählte Workflowschritte zu verbessern, um die Genauigkeit der Volltexterkennung weiter zu verbessern.
Im Vortrag berichten wir vom aktuellen Stand des Gesamtvorhabens und geben einen Überblick über die aktuellen Entwicklungen rund um OCR-D. Wir gehen darauf ein, welches Potenzial die Weiterentwicklungen für Bibliotheken und ihre Nutzenden bieten, welche Herausforderungen noch bestehen und was das für die (Massen-)Digitalisierung der VD und sonstigen Bestände bedeutet. Dazu gehen wir auf das Gesamtvorhaben ein sowie auf unsere Implementierungs- und Modulprojekte und geben einen Ausblick, wie es mit OCR(-D) in Kulturerbeeinrichtungen weitergehen wird.
OCR4all – eine Lösung für die Generierung von Volltexten historischer Korpora und Spezialsammlungen
(2023)
Die Bereitstellung einer hochwertigen Volltexterkennung bei historischen Korpora stellt für viele Bibliotheken im Kontext der Digital Humanities ein neues Aufgabenfeld und eine Herausforderung dar. Insbesondere Forschungen, die Verfahren wie Text und Data Mining einsetzen, formulieren einen Bedarf an umfangreichen Textmengen, die zugleich eine hohe Qualität aufweisen sollen.
Vor diesem Hintergrund fördert die DFG seit 2021 im Rahmen der dritten Phase der DFG-Förderinitiative OCR-D die Entwicklung von Software-Lösungen für bestandserhaltende und -verarbeitende Einrichtungen. Die ursprünglich mit Fokus auf besondere Bedarfe von geisteswissenschaftlichen Nutzer*innen an der Universität Würzburg entwickelte Software OCR4all ist dabei aufgrund ihrer intuitiven und komfortablen Benutzeroberfläche für den Einsatz auch in kleineren und mittleren Einrichtungen prädestiniert. Durch die Interoperabilität mit dem OCR-D-Ökosystem bietet OCR4all einen guten Einstieg in die massenhafte Vervolltextung. Im Zuge des OCR-D-Implementierungsprojekts OCR4all-libraries konnte OCR4all auf OCR-D-Technologien umgestellt und für den spezifischen bibliothekarischen Bedarf weiterentwickelt werden.
Das Hands-On Lab bietet der interessierten Community einen Einstieg in das Thema automatische Texterkennung von Drucken mit OCR am Beispiel ausgewählter historischer Materialien. Teilnehmende erhalten einen Einblick in die Nutzung von OCR4all und können für ihren jeweiligen Anwendungskontext eine erste Einschätzung für eine Nutzung der Software vornehmen. Das Format soll darüber hinaus im Sinne einer offenen Softwareentwicklung dazu dienen, einen Dialog über die Weiterentwicklung der Software mit interessierten Anwender*innen mit begrenztem technischen Hintergrundwissen zu initiieren. Zusätzlich soll die Ermittlung weiterer Anwendungspotentiale und die Diskussion über mögliche Anbindung an Digitalisierungsworkflowsysteme ermöglicht werden.
Die Volltexterkennung von Digitalisaten ist heute eine wichtige Aufgabe von Bibliotheken, um die Durchsuchbarkeit von Texten und eine digitale Weiterverarbeitung der Inhalte zu ermöglichen. Ein frei verfügbares Tool zur Volltexterkennung ist die Open-Source-Software OCR-D, die seit 2014 von der DFG gefördert wird und die die Volltextdigitalisierung der historischen Bestände der VD 16, VD 17 und VD 18 realisieren wird.
Doch wie gut ist die gewählte Volltexterkennung eigentlich? Und welche OCR-Workflows eignen sich für das vorhandene Material am besten in Hinblick auf die Zeichenerkennungsrate oder den Durchsatz? Um diese und ähnliche Fragen zu beantworten, hat das OCR-D-Team das Tool Quiver[1] entwickelt. Es vergleicht exemplarisch Workflows zur Volltexterkennung miteinander, indem es sie auf unterschiedliche Ground Truth, d.h. manuell annotierte korrekte Transkriptionen, aus dem VD-Bestand anwendet. Das Ergebnis der Volltexterkennung wird dann mit der Ground Truth verglichen und die vom OCR-D-Projekt spezifizierten Qualitätsmerkmale[2] erfasst, sodass ein objektiver und schneller qualitativer Vergleich zwischen den verschiedenen Workflows möglich ist. Quiver bündelt darüber hinaus Erkenntnisse aus den OCR-Durchläufen über die Zeit und unterstützt bei der Suche nach einem optimalen Workflow.
Der Vortrag soll einen Überblick über Quiver geben und aufzeigen, wie es gewinnbringend bei der Volltexterkennung eigener Bestände mit der OCR-D-Software angewendet werden kann.
[1] https://ocr-d.de/quiver-frontend
[2] https://ocr-d.de/en/spec/ocrd_eval