@misc{BoenigGeyken2015, author = {Boenig, Matthias and Geyken, Alexander}, title = {Mehr als ‚schmutzige OCR': die Aufwertungen von historischen Volltextdigitalisaten zu Forschungsdaten}, year = {2015}, abstract = {In Bibliotheken und Archiven werden die Ergebnisse der Optical Character Recognition (OCR) dem Nutzer vorwiegend als sog. schmutzige OCR, d. h. ohne weitere Nachkorrektur angeboten. Pauschal wird die Textgenauigkeit dabei mit 98-99\% angegeben. Dies gilt jedoch nur f{\"u}r j{\"u}ngere Texte mit einer vergleichsweise hohen Druckqualit{\"a}t. Bei {\"a}lteren Texten (also vor dem 19. Jh.) sinkt diese Genauigkeit deutlich. Selbst eine Quote von 98\% bedeutet, dass pro Seite (~2000 Zeichen) immerhin mit etwa 40 Fehlern zu rechnen ist, somit bis zu 40 W{\"o}rter nicht gefunden werden k{\"o}nnen. Daher ist in diesen Texten nur eine sogenannte Positivsuche m{\"o}glich und l{\"a}sst sich aus einem fehlenden Suchergebnis nicht sicher auf die Absenz des Wortes im Text schließen. Wissenschaftliches Arbeiten mit diesen Texten ist somit nicht solide m{\"o}glich. In den letzten Jahren wurden effiziente Methoden f{\"u}r die Post-Korrektur und die Strukturannotation auch gr{\"o}ßerer OCR-Textbest{\"a}nde entwickelt. Das DFG-gef{\"o}rderte Deutsche Textarchiv (DTA) der BBAW, hat diese Verfahren und Workflows zur OCR-Postkorrektur von Texten des 17.-19. Jhs. an verschiedenen Textbest{\"a}nden erfolgreich erprobt und weiterentwickelt. Der Vortrag wird anhand eines Projekts aus dem 19. Jh., dem Projekt Die Grenzboten (BBAW und Staats- und Universit{\"a}tsbibliothek Bremen, DFG-gef{\"o}rdert) sowie eines Projekts zur OCR-Postkorrektur der Trauergedichte Simon Dachs (BBAW und Staatsbibliothek zu Berlin - Preußischer Kulturbesitz (SBB-PK)) zeigen, wie sich die Postkorrektur sowohl auf der Ebene der Textgenauigkeit als auch auf der der Strukturgenauigkeit verbessern l{\"a}sst. Damit ergeben sich wesentlich bessere M{\"o}glichkeiten der Textauswertung. Auch die {\"U}berf{\"u}hrung der Daten in strukturbeschreibende Metadatenformate wie METS sind damit automatisch m{\"o}glich. Auf der Basis dieser Projekte soll diskutiert werden, wie im Rahmen der Massendigitalisierung eine nachfolgende Post-Korrektur von OCR-Ergebnissen effizient realisiert werden kann. (Session: Daten vernetzen und archivieren; Raum: Riga; 26. Mai 2015: 13:00 Uhr - 15:30 Uhr)}, language = {de} } @misc{HinrichsenBaiererNeudeckeretal.2023, author = {Hinrichsen, Lena and Baierer, Konstantin and Neudecker, Clemens and Boenig, Matthias and Weidling, Michelle}, title = {OCR-D f{\"u}r die Massendigitalisierung: Projektstand und Ausblick}, series = {TK 5: Daten und Publikationen/ OCR als Kooperation (26.05.2023, 09:00 - 12:00, Runder Saal)}, journal = {TK 5: Daten und Publikationen/ OCR als Kooperation (26.05.2023, 09:00 - 12:00, Runder Saal)}, year = {2023}, abstract = {Seit 2015 wird im DFG-gef{\"o}rderten Projekt OCR-D (Koordinierte F{\"o}rderinitiative zur Weiterentwicklung von Verfahren der Optical Character Recognition) an L{\"o}sungen f{\"u}r die Massenvervolltextung von digitalisierten Best{\"a}nden in Bibliotheken, insbesondere der Verzeichnisse der im deutschen Sprachraum erschienenen Drucke (VD), gearbeitet. W{\"a}hrend in den ersten beiden Projektphasen die Entwicklung von Werkzeugen f{\"u}r alle Aspekte des OCR-Workflows im Vordergrund stand, ist der Fokus in Phase III von OCR-D (2021-2024) die Entwicklung von L{\"o}sungen f{\"u}r hohe Qualit{\"a}t bei hohem Durchsatz f{\"u}r die Massendigitalisierung, die in verschiedenen Kontexten und Infrastrukturen nachnutzbar sind. Auf dieser Grundlage arbeiten vier Implementierungsprojekte daran, OCR-D unter anderem in bestehende L{\"o}sungen wie Kitodo, OCR4all oder eigenentwickelte Digitalisierungsworkflows zu integrieren und den Einsatz von OCR-D auf Hochleistungsrechnern zu erm{\"o}glichen. Zudem arbeiten drei fortgef{\"u}hrte Modulprojekte daran, ausgew{\"a}hlte Workflowschritte zu verbessern, um die Genauigkeit der Volltexterkennung weiter zu verbessern. Im Vortrag berichten wir vom aktuellen Stand des Gesamtvorhabens und geben einen {\"U}berblick {\"u}ber die aktuellen Entwicklungen rund um OCR-D. Wir gehen darauf ein, welches Potenzial die Weiterentwicklungen f{\"u}r Bibliotheken und ihre Nutzenden bieten, welche Herausforderungen noch bestehen und was das f{\"u}r die (Massen-)Digitalisierung der VD und sonstigen Best{\"a}nde bedeutet. Dazu gehen wir auf das Gesamtvorhaben ein sowie auf unsere Implementierungs- und Modulprojekte und geben einen Ausblick, wie es mit OCR(-D) in Kulturerbeeinrichtungen weitergehen wird.}, language = {de} } @misc{BoenigHinrichsenBaierer2024, author = {Boenig, Matthias and Hinrichsen, Lena and Baierer, Konstantin}, title = {Auf dem Trainingsplatz der OCR, die OCR-D-GT-Guidelines}, series = {TK 6: Sammlungen, Repositorien, Retrodigitalisierung und Kulturgut(schutz)/ Volltextdurchsuchbarkeit ausbauen (05.06.2024, 11:00 - 13:00, Saal A.3 / 1. OG)}, journal = {TK 6: Sammlungen, Repositorien, Retrodigitalisierung und Kulturgut(schutz)/ Volltextdurchsuchbarkeit ausbauen (05.06.2024, 11:00 - 13:00, Saal A.3 / 1. OG)}, year = {2024}, abstract = {„Statt B{\"u}cher zu lesen, werden wir bald ein GPT [Generative pre-trained transformers] auf der Basis dieser B{\"u}cher erstellen und das KI-System nutzen, um den Inhalt direkt f{\"u}r unseren Anwendungsfall bereitzustellen"[1] Diese Aussage ist keine Vision, sondern mit Diensten wie sie im Bereich des digitalen Bestandes von Tageszeitungen in der Nationalbibliothek Luxemburg (https://chat.eluxemburgensia.lu/) experimentell oder nur f{\"u}r einen begrenzten Bestand angeboten werden, Realit{\"a}t. Einen direkten Einfluss auf die Leistung der Recherchesysteme oder solcher KI-Systeme hat dabei die Genauigkeit der Texterkennung der Volltextdigitalisierung. KI-basierte OCR-Systeme verwenden Methoden des maschinellen Lernens. Grundlage dieses Lernens ist Ground Truth (GT), d.h. manuell annotierte Trainings- und Evaluationsdaten. Damit die Ergebnisse der OCR vergleichbar und in ihrer Qualit{\"a}t messbar sind, sind Standards und Richtlinien f{\"u}r Trainingsmaterialien notwendig. Seit 2014 arbeitet das Projekt OCR-D gef{\"o}rdert von der DFG an der Volltextdigitalisierung von historischen Best{\"a}nden aus dem 16. bis zum 18. Jahrhundert. Dabei war und ist Projektinhalt eine frei verf{\"u}gbare Software-Basis zu schaffen und die koordinierte Volltextdigitalisierung von {\"u}ber einer Million bibliographischer beschriebener Titel in den VD (Verzeichnisse der im deutschsprachigen Raum erschienenen Drucke) mit dem OCR-D-Framework in den Bibliotheken zu begleiten. F{\"u}r das Training wurde mit den OCR-D-GT-Guidelines[2] ein Rahmen geschaffen, der es erm{\"o}glicht, dass die Bibliotheken GT kollaborativ nutzen und austauschen k{\"o}nnen. Der Vortrag soll einen {\"U}berblick {\"u}ber dieses Regelwerk und die von OCR-D angebotenen M{\"o}glichkeiten der Speicherung sowie des Austauschs des GT geben. [1]: Gerst, Danny: OpenAI s{\"a}gt H{\"a}lfte der KI-Startups ab - und dann fast sich selbst. in: heise online, 24.11.2023. [2]: https://ocr-d.de/goto/gt-guidelines}, language = {de} } @misc{EnglBoenig2020, author = {Engl, Elisabeth and Boenig, Matthias}, title = {OCR-D in the wild: Erfahrungen und Erkenntnisse aus der Praxisphase mit Pilotbibliotheken}, series = {{\"O}ffentliche Arbeitssitzung / OCR-D in the wild: Erfahrungen und Erkenntnisse aus der Praxisphase mit Pilotbibliotheken (26.05.2020, 13:00 - 15:30 Uhr, Konferenzraum 08/10)}, journal = {{\"O}ffentliche Arbeitssitzung / OCR-D in the wild: Erfahrungen und Erkenntnisse aus der Praxisphase mit Pilotbibliotheken (26.05.2020, 13:00 - 15:30 Uhr, Konferenzraum 08/10)}, url = {http://nbn-resolving.de/urn:nbn:de:0290-opus4-170779}, year = {2020}, abstract = {Das DFG-gef{\"o}rderte Projekt OCR-D (https://ocr-d.de/) befasst sich seit 2015 konzeptionell und praktisch mit der Verbesserung von Verfahren zur automatischen Text- und Strukturerfassung von digitalisierten historischen Drucken aus dem 16.-19. Jahrhundert. {\"U}bergeordnetes Ziel ist es, elektronisch lesbaren, wissenschaftlich verwertbaren Volltext f{\"u}r Titel der "Verzeichnisse der im deutschen Sprachraum erschienenen Drucke" (VD) zu gewinnen.Dazu wurden in der ersten Projektphase Verbesserungspotenziale ermittelt, die in der zweiten Projektphase bis zum Fr{\"u}hjahr 2020 von insgesamt acht zus{\"a}tzlichen DFG-gef{\"o}rderten Modulprojekten bearbeitet werden. Die entwickelte quelloffene, modular aufgebaute Software wird zwischen November 2019 und Januar 2020 erstmals in neun Pilotbibliotheken getestet. Dabei werden die OCR-D-Software und die zugeh{\"o}rige Dokumentation auf ihre Praxistauglichkeit und Akzeptanz bei ihren potentiellen k{\"u}nftigen Nutzern hin getestet, indem sie in unterschiedlichen Bibliotheksumgebungen an verschiedenartigen Korpora angewendet werden. In der {\"o}ffentlichen Arbeitssitzung werden die Ergebnisse dieser ersten Praxisphase sowie ggf. offene Desiderate der Pilotbibliotheken an die OCR-D-Software vorgestellt und diskutiert. Zudem wird die weitere geplante Entwicklung der Software und die Verf{\"u}gbarkeit und Standardisierung von geeigneten Trainings- und Evaluationsdaten besprochen. Die Sitzung richtet sich neben den Projektbeteiligten an alle bestandshaltenden Einrichtungen wie Bibliotheken, Archive, etc., die Interesse an der OCR-D-Software haben und diese vielleicht in ihren eigenen H{\"a}usern testen und implementieren m{\"o}chten. Die Veranstaltung schließt an die letztj{\"a}hrige Projektsitzung auf dem Bibliothekartag an, bei der mit Dienstleistern und Anwendern {\"u}ber die k{\"u}nftige Implementierung der OCR-D-Software in bestehende Workflows und Systeme diskutiert wurde.}, language = {de} } @misc{Boenig2019, author = {Boenig, Matthias}, title = {OCR-D in der Praxis: Ein gemeinsamer Ausblick mit Dienstleistern und Anwendern}, series = {{\"O}ffentliche Arbeitssitzung / OCR-D in der Praxis: Ein gemeinsamer Ausblick mit Dienstleistern und Anwendern (18.03.2019, 16:00 - 18:00 Uhr, Seminarraum 8)}, journal = {{\"O}ffentliche Arbeitssitzung / OCR-D in der Praxis: Ein gemeinsamer Ausblick mit Dienstleistern und Anwendern (18.03.2019, 16:00 - 18:00 Uhr, Seminarraum 8)}, url = {http://nbn-resolving.de/urn:nbn:de:0290-opus4-163579}, year = {2019}, abstract = {Die "Koordinierte F{\"o}rderinitiative zur Weiterentwicklung von Verfahren der Optical Character Recognition" (kurz OCR-D), arbeitet seit 2015 an der Optimierung der automatischen Texterkennung insbesondere f{\"u}r historische Drucke. Nach einer Bedarfsanalyse werden seit Anfang 2018 in acht Modulprojekten Softwarel{\"o}sungen entwickelt, die ab Sommer 2019 Open Source zur Verf{\"u}gung stehen. Kultureinrichtungen wie Bibliotheken lassen seit mehreren Jahren ihre Best{\"a}nde digitalisieren und zum Teil auch per OCR prozessieren, entweder im eigenen Digitalisierungszentrum oder {\"u}ber erfahrene Dienstleister in diesem Bereich. Zusammen mit der OCR-D-Expertengruppe, Dienstleistenden und Anwendern m{\"o}chten wir im Rahmen der {\"o}ffentlichen Arbeitssitzung einen Ausblick geben und diskutieren, wie die OCR-D-L{\"o}sungen in bestehende Workflows und Systeme eingebracht werden k{\"o}nnen. Neben einem allgemeinen Einblick in das Projekt sollen vor allem technische Heraus- und Anforderungen auf dem Weg zu einer m{\"o}glichst weitgehenden Verbreitung in Digitalisierungsvorhaben und Kultureinrichtungen besprochen werden.}, language = {de} } @misc{BoenigHartwigWeidlingetal.2023, author = {Boenig, Matthias and Hartwig, Uwe and Weidling, Michelle and Baierer, Konstantin and Neudecker, Clemens}, title = {Moderne Standards bei der Erstellung und Evaluation von Volltextdaten}, series = {TK 5: Daten und Publikationen/ OCR als Kooperation (26.05.2023, 09:00 - 12:00, Runder Saal)}, journal = {TK 5: Daten und Publikationen/ OCR als Kooperation (26.05.2023, 09:00 - 12:00, Runder Saal)}, year = {2023}, abstract = {Die Bereitstellung qualitativ hochwertiger Volltexte ist eine Voraussetzung f{\"u}r die Erschließung umfangreicher bibliothekarischer Best{\"a}nde und zugleich Grundlage f{\"u}r nachgelagerte Verfahren wie Normdatenverkn{\"u}pfung oder automatische Sacherschließung. W{\"a}hrend die Evaluation von OCR bislang meist als einmalige und rein manuelle Aktivit{\"a}t verstanden wurde, skaliert dieser Ansatz nicht f{\"u}r die Massenvolltextdigitalisierung. Stattdessen wird zunehmend Ground Truth (GT), d.h. manuell erstellte, qualitativ einwandfreie Transkription, f{\"u}r die OCR-Evaluation und dar{\"u}ber hinaus erstellt. Die Nachnutzbarkeit von GT ist dann am h{\"o}chsten, wenn bei der Erstellung Spezifikationen {\"u}ber Formate und Verfahren eingehalten werden. Zwar ist der Aufwand von GT-getriebener Evaluation substantiell h{\"o}her als f{\"u}r einmalige manuelle Evaluationen (z.B. Bernoulli-Experiment); dies wird jedoch aufgewogen durch die sehr viel h{\"o}here Verl{\"a}sslichkeit und Aussagekraft der ermittelten Zahlen. Sowohl f{\"u}r Annotation und Repr{\"a}sentation der GT als auch f{\"u}r die Auswertungsverfahren zur OCR-Evaluation sind weitere Standardisierungen notwendig. Dar{\"u}ber hinaus kann GT auch zum Training von OCR und Layoutanalyse sowie in nachgelagerten Aufgaben verwendet werden, wof{\"u}r ebenfalls spezifische Anforderungen zu definieren sind. Im Rahmen der DFG-F{\"o}rderinitiative OCR-D wurden hierf{\"u}r eine Reihe von Richtlinien entwickelt. Neben einer {\"U}berarbeitung der DFG-Praxisregeln Digitalisierung im Hinblick auf OCR werden Richtlinien zur Erstellung von GT entwickelt. Auch dazu, wie GT nachhaltig und vielseitig anwendbar disseminiert werden sollte, werden Best Practices kommuniziert. Diese und weitere Aspekte der Standardisierung rund um OCR werden im Vortrag diskutiert und auch praktische Empfehlungen f{\"u}r OCR-Vorhaben gegeben.}, language = {de} }