Prosperierende Plattform mit Cluster-Kern - die Deutsche Digitale Bibliothek und ihre neue Architektur
- Die Deutsche Digitale Bibliothek (DDB) ist die zentrale Plattform für das digital(isiert)e Kultur- und Wissenserbe in Deutschland. Seit dem Launch der DDB im November 2012 wachsen die in ihr verzeichneten Bestände um ca. 1 Million Objekte pro Quartal, so dass zum Zeitpunkt des Vortrags über 20 Millionen Objekte über das Portal (www.deutsche-digitale-bibliothek.de) zugänglich sein werden, davon über 8 Millionen mit Digitalisat.Dieses Wachstum hat die bestehende Architektur inzwischen so weit ausgereitzt, dass diese in absehbarer Zeit ihre Systemgrenzen erreicht hätte. Dank einer Sonderförderung des Bundes konnte ein Umbau der DDB-Kernarchitektur auf moderne Big-Data-Technologien realisiert werden. Neben einer verteilten NoSQL-Datenbank (Cassandra) als temporärer Datenspeicher und Archiv kommt künftig eine Cluster-Computing-Framwork (Spark) zum Einsatz, das eine Beschleunigung der Transformations- und Ingestprozesse der DDB um mehrere Größenordnungen ermöglichen wird. Neben der Performanzsteigerung sichert insbesondere die Skalierbarkeit des verteilten Systems den Betrieb der DDB auf viele Jahre.Dadurch dass neben den klassischen Suchindex eine leistungsfähige Datenbank samt Analytics-Framework zum Einsatz kommt, ergeben sich weiterhin ganz neue Nutzungsszenarien zur Datenanalyse, Suchoptimierung, nachgelagerten Anreicherung, Kontextualisierung bis hin zu Machine-Learning-Anwendungen und interaktiven Visualisierungen mit realen Produktionsdaten.Der Beitrag informiert über den aktuellen Stand des Gesamtvorhabens Deutsche Digitale Bibliothek, gibt Einblick in erreichte, in Arbeit befindliche und für die Zukunft geplante Weiterentwicklungen beim inhaltlichen und technischen Ausbau der DDB sowie in der redaktionellen Kontextualisierung ihrer Bestände.
Author: | Stephan Bartholmei |
---|---|
Parent Title (German): | TK 6: Fokus Erschließung und Bewahrung / Virtualisierung von Beständen ( 30.05.2017, 16:00 - 18:00 Uhr, Raum Fantasie 2 ) |
Document Type: | Conference publication (abstract) |
Language: | German |
Year of Completion: | 2017 |
Release Date: | 2017/05/23 |
Themes: | Portale, Discovery-Services, virtuelle Bibliotheken |
Digitalisierung, Langzeitarchivierung | |
German Bibliothekartage / BiblioCon: | 106. Deutscher Bibliothekartag in Frankfurt am Main 2017 |
106. Deutscher Bibliothekartag in Frankfurt am Main 2017 / Themenkreise / TK 6: Erschließung und Bewahrung / Virtualisierung von Beständen | |
Licence (German): | Creative Commons - Namensnennung-Weitergabe unter gleichen Bedingungen |