Prosperierende Plattform mit Cluster-Kern - die Deutsche Digitale Bibliothek und ihre neue Architektur

  • Die Deutsche Digitale Bibliothek (DDB) ist die zentrale Plattform für das digital(isiert)e Kultur- und Wissenserbe in Deutschland. Seit dem Launch der DDB im November 2012 wachsen die in ihr verzeichneten Bestände um ca. 1 Million Objekte pro Quartal, so dass zum Zeitpunkt des Vortrags über 20 Millionen Objekte über das Portal (www.deutsche-digitale-bibliothek.de) zugänglich sein werden, davon über 8 Millionen mit Digitalisat.Dieses Wachstum hat die bestehende Architektur inzwischen so weit ausgereitzt, dass diese in absehbarer Zeit ihre Systemgrenzen erreicht hätte. Dank einer Sonderförderung des Bundes konnte ein Umbau der DDB-Kernarchitektur auf moderne Big-Data-Technologien realisiert werden. Neben einer verteilten NoSQL-Datenbank (Cassandra) als temporärer Datenspeicher und Archiv kommt künftig eine Cluster-Computing-Framwork (Spark) zum Einsatz, das eine Beschleunigung der Transformations- und Ingestprozesse der DDB um mehrere Größenordnungen ermöglichen wird. Neben der Performanzsteigerung sichert insbesondere die Skalierbarkeit des verteilten Systems den Betrieb der DDB auf viele Jahre.Dadurch dass neben den klassischen Suchindex eine leistungsfähige Datenbank samt Analytics-Framework zum Einsatz kommt, ergeben sich weiterhin ganz neue Nutzungsszenarien zur Datenanalyse, Suchoptimierung, nachgelagerten Anreicherung, Kontextualisierung bis hin zu Machine-Learning-Anwendungen und interaktiven Visualisierungen mit realen Produktionsdaten.Der Beitrag informiert über den aktuellen Stand des Gesamtvorhabens Deutsche Digitale Bibliothek, gibt Einblick in erreichte, in Arbeit befindliche und für die Zukunft geplante Weiterentwicklungen beim inhaltlichen und technischen Ausbau der DDB sowie in der redaktionellen Kontextualisierung ihrer Bestände.

Export metadata

Additional Services

Share in Twitter Search Google Scholar
Metadaten
Author:Stephan Bartholmei
Parent Title (German):TK 6: Fokus Erschließung und Bewahrung / Virtualisierung von Beständen ( 30.05.2017, 16:00 - 18:00 Uhr, Raum Fantasie 2 )
Document Type:Konferenzveröffentlichung (Abstract)
Language:German
Year of Completion:2017
Release Date:2017/05/23
Themes:Portale, Discovery-Services, virtuelle Bibliotheken
Digitalisierung, Langzeitarchivierung
Deutsche Bibliothekartage:106. Deutscher Bibliothekartag in Frankfurt am Main 2017
106. Deutscher Bibliothekartag in Frankfurt am Main 2017 / Themenkreise / TK 6: Erschließung und Bewahrung / Virtualisierung von Beständen
Licence (German):License LogoCreative Commons - Namensnennung-Weitergabe unter gleichen Bedingungen