TY - GEN A1 - Boenig, Matthias A1 - Geyken, Alexander T1 - Mehr als ‚schmutzige OCR': die Aufwertungen von historischen Volltextdigitalisaten zu Forschungsdaten N2 - In Bibliotheken und Archiven werden die Ergebnisse der Optical Character Recognition (OCR) dem Nutzer vorwiegend als sog. schmutzige OCR, d. h. ohne weitere Nachkorrektur angeboten. Pauschal wird die Textgenauigkeit dabei mit 98-99% angegeben. Dies gilt jedoch nur für jüngere Texte mit einer vergleichsweise hohen Druckqualität. Bei älteren Texten (also vor dem 19. Jh.) sinkt diese Genauigkeit deutlich. Selbst eine Quote von 98% bedeutet, dass pro Seite (~2000 Zeichen) immerhin mit etwa 40 Fehlern zu rechnen ist, somit bis zu 40 Wörter nicht gefunden werden können. Daher ist in diesen Texten nur eine sogenannte Positivsuche möglich und lässt sich aus einem fehlenden Suchergebnis nicht sicher auf die Absenz des Wortes im Text schließen. Wissenschaftliches Arbeiten mit diesen Texten ist somit nicht solide möglich. In den letzten Jahren wurden effiziente Methoden für die Post-Korrektur und die Strukturannotation auch größerer OCR-Textbestände entwickelt. Das DFG-geförderte Deutsche Textarchiv (DTA) der BBAW, hat diese Verfahren und Workflows zur OCR-Postkorrektur von Texten des 17.-19. Jhs. an verschiedenen Textbeständen erfolgreich erprobt und weiterentwickelt. Der Vortrag wird anhand eines Projekts aus dem 19. Jh., dem Projekt Die Grenzboten (BBAW und Staats- und Universitätsbibliothek Bremen, DFG-gefördert) sowie eines Projekts zur OCR-Postkorrektur der Trauergedichte Simon Dachs (BBAW und Staatsbibliothek zu Berlin - Preußischer Kulturbesitz (SBB-PK)) zeigen, wie sich die Postkorrektur sowohl auf der Ebene der Textgenauigkeit als auch auf der der Strukturgenauigkeit verbessern lässt. Damit ergeben sich wesentlich bessere Möglichkeiten der Textauswertung. Auch die Überführung der Daten in strukturbeschreibende Metadatenformate wie METS sind damit automatisch möglich. Auf der Basis dieser Projekte soll diskutiert werden, wie im Rahmen der Massendigitalisierung eine nachfolgende Post-Korrektur von OCR-Ergebnissen effizient realisiert werden kann. (Session: Daten vernetzen und archivieren; Raum: Riga; 26. Mai 2015: 13:00 Uhr - 15:30 Uhr) Y1 - 2015 ER - TY - GEN A1 - Hinrichsen, Lena A1 - Baierer, Konstantin A1 - Neudecker, Clemens A1 - Boenig, Matthias A1 - Weidling, Michelle T1 - OCR-D für die Massendigitalisierung: Projektstand und Ausblick T2 - TK 5: Daten und Publikationen/ OCR als Kooperation (26.05.2023, 09:00 - 12:00, Runder Saal) N2 - Seit 2015 wird im DFG-geförderten Projekt OCR-D (Koordinierte Förderinitiative zur Weiterentwicklung von Verfahren der Optical Character Recognition) an Lösungen für die Massenvervolltextung von digitalisierten Beständen in Bibliotheken, insbesondere der Verzeichnisse der im deutschen Sprachraum erschienenen Drucke (VD), gearbeitet. Während in den ersten beiden Projektphasen die Entwicklung von Werkzeugen für alle Aspekte des OCR-Workflows im Vordergrund stand, ist der Fokus in Phase III von OCR-D (2021–2024) die Entwicklung von Lösungen für hohe Qualität bei hohem Durchsatz für die Massendigitalisierung, die in verschiedenen Kontexten und Infrastrukturen nachnutzbar sind. Auf dieser Grundlage arbeiten vier Implementierungsprojekte daran, OCR-D unter anderem in bestehende Lösungen wie Kitodo, OCR4all oder eigenentwickelte Digitalisierungsworkflows zu integrieren und den Einsatz von OCR-D auf Hochleistungsrechnern zu ermöglichen. Zudem arbeiten drei fortgeführte Modulprojekte daran, ausgewählte Workflowschritte zu verbessern, um die Genauigkeit der Volltexterkennung weiter zu verbessern. Im Vortrag berichten wir vom aktuellen Stand des Gesamtvorhabens und geben einen Überblick über die aktuellen Entwicklungen rund um OCR-D. Wir gehen darauf ein, welches Potenzial die Weiterentwicklungen für Bibliotheken und ihre Nutzenden bieten, welche Herausforderungen noch bestehen und was das für die (Massen-)Digitalisierung der VD und sonstigen Bestände bedeutet. Dazu gehen wir auf das Gesamtvorhaben ein sowie auf unsere Implementierungs- und Modulprojekte und geben einen Ausblick, wie es mit OCR(-D) in Kulturerbeeinrichtungen weitergehen wird. Y1 - 2023 ER - TY - GEN A1 - Boenig, Matthias A1 - Hinrichsen, Lena A1 - Baierer, Konstantin T1 - Auf dem Trainingsplatz der OCR, die OCR-D-GT-Guidelines T2 - TK 6: Sammlungen, Repositorien, Retrodigitalisierung und Kulturgut(schutz)/ Volltextdurchsuchbarkeit ausbauen (05.06.2024, 11:00 - 13:00, Saal A.3 / 1. OG) N2 - „Statt Bücher zu lesen, werden wir bald ein GPT [Generative pre-trained transformers] auf der Basis dieser Bücher erstellen und das KI-System nutzen, um den Inhalt direkt für unseren Anwendungsfall bereitzustellen“[1] Diese Aussage ist keine Vision, sondern mit Diensten wie sie im Bereich des digitalen Bestandes von Tageszeitungen in der Nationalbibliothek Luxemburg (https://chat.eluxemburgensia.lu/) experimentell oder nur für einen begrenzten Bestand angeboten werden, Realität. Einen direkten Einfluss auf die Leistung der Recherchesysteme oder solcher KI-Systeme hat dabei die Genauigkeit der Texterkennung der Volltextdigitalisierung. KI-basierte OCR-Systeme verwenden Methoden des maschinellen Lernens. Grundlage dieses Lernens ist Ground Truth (GT), d.h. manuell annotierte Trainings- und Evaluationsdaten. Damit die Ergebnisse der OCR vergleichbar und in ihrer Qualität messbar sind, sind Standards und Richtlinien für Trainingsmaterialien notwendig. Seit 2014 arbeitet das Projekt OCR-D gefördert von der DFG an der Volltextdigitalisierung von historischen Beständen aus dem 16. bis zum 18. Jahrhundert. Dabei war und ist Projektinhalt eine frei verfügbare Software-Basis zu schaffen und die koordinierte Volltextdigitalisierung von über einer Million bibliographischer beschriebener Titel in den VD (Verzeichnisse der im deutschsprachigen Raum erschienenen Drucke) mit dem OCR-D-Framework in den Bibliotheken zu begleiten. Für das Training wurde mit den OCR-D-GT-Guidelines[2] ein Rahmen geschaffen, der es ermöglicht, dass die Bibliotheken GT kollaborativ nutzen und austauschen können. Der Vortrag soll einen Überblick über dieses Regelwerk und die von OCR-D angebotenen Möglichkeiten der Speicherung sowie des Austauschs des GT geben. [1]: Gerst, Danny: OpenAI sägt Hälfte der KI-Startups ab – und dann fast sich selbst. in: heise online, 24.11.2023. [2]: https://ocr-d.de/goto/gt-guidelines Y1 - 2024 ER - TY - GEN A1 - Engl, Elisabeth A1 - Boenig, Matthias T1 - OCR-D in the wild: Erfahrungen und Erkenntnisse aus der Praxisphase mit Pilotbibliotheken T2 - Öffentliche Arbeitssitzung / OCR-D in the wild: Erfahrungen und Erkenntnisse aus der Praxisphase mit Pilotbibliotheken (26.05.2020, 13:00 - 15:30 Uhr, Konferenzraum 08/10) N2 - Das DFG-geförderte Projekt OCR-D (https://ocr-d.de/) befasst sich seit 2015 konzeptionell und praktisch mit der Verbesserung von Verfahren zur automatischen Text- und Strukturerfassung von digitalisierten historischen Drucken aus dem 16.-19. Jahrhundert. Übergeordnetes Ziel ist es, elektronisch lesbaren, wissenschaftlich verwertbaren Volltext für Titel der "Verzeichnisse der im deutschen Sprachraum erschienenen Drucke” (VD) zu gewinnen.Dazu wurden in der ersten Projektphase Verbesserungspotenziale ermittelt, die in der zweiten Projektphase bis zum Frühjahr 2020 von insgesamt acht zusätzlichen DFG-geförderten Modulprojekten bearbeitet werden. Die entwickelte quelloffene, modular aufgebaute Software wird zwischen November 2019 und Januar 2020 erstmals in neun Pilotbibliotheken getestet. Dabei werden die OCR-D-Software und die zugehörige Dokumentation auf ihre Praxistauglichkeit und Akzeptanz bei ihren potentiellen künftigen Nutzern hin getestet, indem sie in unterschiedlichen Bibliotheksumgebungen an verschiedenartigen Korpora angewendet werden. In der öffentlichen Arbeitssitzung werden die Ergebnisse dieser ersten Praxisphase sowie ggf. offene Desiderate der Pilotbibliotheken an die OCR-D-Software vorgestellt und diskutiert. Zudem wird die weitere geplante Entwicklung der Software und die Verfügbarkeit und Standardisierung von geeigneten Trainings- und Evaluationsdaten besprochen. Die Sitzung richtet sich neben den Projektbeteiligten an alle bestandshaltenden Einrichtungen wie Bibliotheken, Archive, etc., die Interesse an der OCR-D-Software haben und diese vielleicht in ihren eigenen Häusern testen und implementieren möchten. Die Veranstaltung schließt an die letztjährige Projektsitzung auf dem Bibliothekartag an, bei der mit Dienstleistern und Anwendern über die künftige Implementierung der OCR-D-Software in bestehende Workflows und Systeme diskutiert wurde. Y1 - 2020 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0290-opus4-170779 ER - TY - GEN A1 - Boenig, Matthias T1 - OCR-D in der Praxis: Ein gemeinsamer Ausblick mit Dienstleistern und Anwendern T2 - Öffentliche Arbeitssitzung / OCR-D in der Praxis: Ein gemeinsamer Ausblick mit Dienstleistern und Anwendern (18.03.2019, 16:00 - 18:00 Uhr, Seminarraum 8) N2 - Die "Koordinierte Förderinitiative zur Weiterentwicklung von Verfahren der Optical Character Recognition" (kurz OCR-D), arbeitet seit 2015 an der Optimierung der automatischen Texterkennung insbesondere für historische Drucke. Nach einer Bedarfsanalyse werden seit Anfang 2018 in acht Modulprojekten Softwarelösungen entwickelt, die ab Sommer 2019 Open Source zur Verfügung stehen. Kultureinrichtungen wie Bibliotheken lassen seit mehreren Jahren ihre Bestände digitalisieren und zum Teil auch per OCR prozessieren, entweder im eigenen Digitalisierungszentrum oder über erfahrene Dienstleister in diesem Bereich. Zusammen mit der OCR-D-Expertengruppe, Dienstleistenden und Anwendern möchten wir im Rahmen der öffentlichen Arbeitssitzung einen Ausblick geben und diskutieren, wie die OCR-D-Lösungen in bestehende Workflows und Systeme eingebracht werden können. Neben einem allgemeinen Einblick in das Projekt sollen vor allem technische Heraus- und Anforderungen auf dem Weg zu einer möglichst weitgehenden Verbreitung in Digitalisierungsvorhaben und Kultureinrichtungen besprochen werden. Y1 - 2019 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0290-opus4-163579 ER - TY - GEN A1 - Boenig, Matthias A1 - Hartwig, Uwe A1 - Weidling, Michelle A1 - Baierer, Konstantin A1 - Neudecker, Clemens T1 - Moderne Standards bei der Erstellung und Evaluation von Volltextdaten T2 - TK 5: Daten und Publikationen/ OCR als Kooperation (26.05.2023, 09:00 - 12:00, Runder Saal) N2 - Die Bereitstellung qualitativ hochwertiger Volltexte ist eine Voraussetzung für die Erschließung umfangreicher bibliothekarischer Bestände und zugleich Grundlage für nachgelagerte Verfahren wie Normdatenverknüpfung oder automatische Sacherschließung. Während die Evaluation von OCR bislang meist als einmalige und rein manuelle Aktivität verstanden wurde, skaliert dieser Ansatz nicht für die Massenvolltextdigitalisierung. Stattdessen wird zunehmend Ground Truth (GT), d.h. manuell erstellte, qualitativ einwandfreie Transkription, für die OCR-Evaluation und darüber hinaus erstellt. Die Nachnutzbarkeit von GT ist dann am höchsten, wenn bei der Erstellung Spezifikationen über Formate und Verfahren eingehalten werden. Zwar ist der Aufwand von GT-getriebener Evaluation substantiell höher als für einmalige manuelle Evaluationen (z.B. Bernoulli-Experiment); dies wird jedoch aufgewogen durch die sehr viel höhere Verlässlichkeit und Aussagekraft der ermittelten Zahlen. Sowohl für Annotation und Repräsentation der GT als auch für die Auswertungsverfahren zur OCR-Evaluation sind weitere Standardisierungen notwendig. Darüber hinaus kann GT auch zum Training von OCR und Layoutanalyse sowie in nachgelagerten Aufgaben verwendet werden, wofür ebenfalls spezifische Anforderungen zu definieren sind. Im Rahmen der DFG-Förderinitiative OCR-D wurden hierfür eine Reihe von Richtlinien entwickelt. Neben einer Überarbeitung der DFG-Praxisregeln Digitalisierung im Hinblick auf OCR werden Richtlinien zur Erstellung von GT entwickelt. Auch dazu, wie GT nachhaltig und vielseitig anwendbar disseminiert werden sollte, werden Best Practices kommuniziert. Diese und weitere Aspekte der Standardisierung rund um OCR werden im Vortrag diskutiert und auch praktische Empfehlungen für OCR-Vorhaben gegeben. Y1 - 2023 ER -