Das Suchergebnis hat sich seit Ihrer Suchanfrage verändert. Eventuell werden Dokumente in anderer Reihenfolge angezeigt.
  • Treffer 77 von 128
Zurück zur Trefferliste

Collecting and visualizing data lineage of Spark jobs

  • Metadata management constitutes a key prerequisite for enterprises as they engage in data analytics and governance. Today, however, the context of data is often only manually documented by subject matter experts, and lacks completeness and reliability due to the complex nature of data pipelines. Thus, collecting data lineage—describing the origin, structure, and dependencies of data—in an automated fashion increases quality of provided metadata and reduces manual effort, making it critical for the development and operation of data pipelines. In our practice report, we propose an end-to-end solution that digests lineage via (Py‑)Spark execution plans. We build upon the open-source component Spline, allowing us to reliably consume lineage metadata and identify interdependencies. We map the digested data into an expandable data model, enabling us to extract graph structures for both coarse- and fine-grained data lineage. Lastly, our solution visualizes the extracted data lineage via a modern web app, and integrates with BMW Group’s soon-to-be open-sourced Cloud Data Hub.

Volltext Dateien herunterladen

Metadaten exportieren

Weitere Dienste

Teilen auf Twitter Suche bei Google Scholar Anzahl der Zugriffe auf dieses Dokument
Metadaten
Verfasserangaben:Alexander Schoenenwald, Simon Kern, Josef Viehhauser, Johannes SchildgenORCiD
DOI:https://doi.org/10.1007/s13222-021-00387-7
Titel des übergeordneten Werkes (Deutsch):Datenbank-Spektrum
Verlag:Springer Nature
Dokumentart:Artikel aus einer Zeitschrift/Zeitung
Sprache der Veröffentlichung:Englisch
Jahr der Veröffentlichung:2021
Datum der Freischaltung:03.02.2022
Jahrgang:21
Ausgabe / Heft:3
Erste Seite:179
Letzte Seite:189
Bemerkung:
Corresponding author: Johannes Schildgen
Fakultäten / Institute / Einrichtungen:Fakultät Informatik und Mathematik
Begutachtungsstatus:peer-reviewed
Forschungsschwerpunkt:Digitalisierung
OpenAccess Publikationsweg:Hybrid Open Access - OA-Veröffentlichung in einer Subskriptionszeitschrift/-medium
Corresponding author der OTH Regensburg
Finanzierung / Förderung:DEAL Springer Nature
Lizenz (Deutsch):Creative Commons - CC BY - Namensnennung 4.0 International