TY - THES A1 - Fischer, Jens V. T1 - A Gossiping Framework for Scalaris Y1 - 2014 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-50685 ER - TY - JOUR A1 - Golas, Ulrike A1 - Habel, A. A1 - Ehrig, Hartmut T1 - Multi-Amalgamation of Rules with Application Conditions in M-Adhesive Categories JF - Mathematical Structures in Computer Science Y1 - 2014 U6 - https://doi.org/10.1017/S0960129512000345 VL - 24 IS - 4 SP - 1 EP - 68 ER - TY - GEN A1 - Wende, Florian A1 - Steinke, Thomas A1 - Cordes, Frank T1 - Multi-threaded Kernel Offloading to GPGPU Using Hyper-Q on Kepler Architecture N2 - Small-scale computations usually cannot fully utilize the compute capabilities of modern GPGPUs. With the Fermi GPU architecture Nvidia introduced the concurrent kernel execution feature allowing up to 16 GPU kernels to execute simultaneously on a shared GPU device for a better utilization of the respective resources. Insufficient scheduling capabilities in this respect, however, can significantly reduce the theoretical concurrency level. With the Kepler GPU architecture Nvidia addresses this issue by introducing the Hyper-Q feature with 32 hardware managed work queues for concurrent kernel execution. We investigate the Hyper-Q feature within heterogeneous workloads with multiple concurrent host threads or processes offloading computations to the GPU each. By means of a synthetic benchmark kernel and a hybrid parallel CPU-GPU real-world application, we evaluate the performance obtained with Hyper-Q on GPU and compare it against a kernel reordering mechanism introduced by the authors for the Fermi architecture. T3 - ZIB-Report - 14-19 KW - GPGPU KW - Hyper-Q KW - Concurrent Kernel Execution Y1 - 2014 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-50362 SN - 1438-0064 ER - TY - GEN A1 - Noack, Matthias T1 - HAM - Heterogenous Active Messages for Efficient Offloading on the Intel Xeon Phi N2 - The applicability of accelerators is limited by the attainable speed-up for the offloaded computations and by the offloading overheads. While GPU programming models like CUDA and OpenCL only allow to optimise the application code and its speed-up, the available low-level APIs for the Intel Xeon Phi provide opportunity to address the overheads, too. This work presents an Heterogeneous Active Message (HAM) layer that minimises software overheads for offloading on Intel’s Xeon Phi. It provides the basis for an offload API with similar semantics as the Intel Language Extensions for Offload (LEO). In contrast to LEO, HAM works within the C++ language and needs no additional compiler support. We evaluated HAM on top of SCIF and MPI as communication backends. While the SCIF backend offers the best performance, the MPI backend allows for inter-node offloads which are not possible with other offload solutions. Benchmark results show that the cost for offloading a function call can be decreased by a factor up to 18 compared with LEO. T3 - ZIB-Report - 14-23 KW - Intel Xeon Phi KW - MIC KW - Active message KW - Offloading KW - SCIF KW - MPI KW - LEO KW - HAM Y1 - 2014 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-50610 SN - 1438-0064 ER - TY - CHAP A1 - Schäfer, Patrick T1 - Towards Time Series Classification without Human Preprocessing T2 - MLDM 2014 Y1 - 2014 U6 - https://doi.org/10.1007/978-3-319-08979-9_18 VL - 8556 SP - 228 EP - 242 ER - TY - JOUR A1 - Potamitis, Ilyas A1 - Schäfer, Patrick T1 - On Classifying Insects from their Wing-Beat: New Results JF - Ecology and acoustics: emergent properties from community to landscape, Paris, France Y1 - 2014 ER - TY - JOUR A1 - Krüger, Jens A1 - Grunzke, Richard A1 - Gesing, Sandra A1 - Breuers, Sebastian A1 - Brinkmann, André A1 - de la Garza, Luis A1 - Kohlbacher, Oliver A1 - Kruse, Martin A1 - Nagel, Wolfgang A1 - Packschies, Lars A1 - Müller-Pfefferkorn, Ralph A1 - Schäfer, Patrick A1 - Schärfe, Charlotta A1 - Steinke, Thomas A1 - Schlemmer, Tobias A1 - Warzecha, Klaus Dieter A1 - Zink, Andreas A1 - Herres-Pawlis, Sonja T1 - The MoSGrid Science Gateway - A Complete Solution for Molecular Simulations JF - Journal of Chemical Theory and Computation Y1 - 2014 U6 - https://doi.org/10.1021/ct500159h VL - 10 IS - 6 SP - 2232 EP - 2245 ER - TY - THES A1 - Lorenz, Christian T1 - Leistungsverbesserung der Datenübertragung bei der Replikation von nicht veränderlichen Dateien in einem verteilten Dateisystem Y1 - 2009 ER - TY - THES A1 - Hoffmann, Marie T1 - Ein agglomeratives, gossipbasiertes Clustering-Verfahren für verteilte Systeme implementiert in Scalaris Y1 - 2009 ER - TY - THES A1 - Münnich, Bert T1 - Kürzeste-Wege-Suche mit Grafikkarten Y1 - 2011 ER - TY - THES A1 - Langner, Felix T1 - Überlastungsschutz mit Anfragepriorisierung für das Internetdateisystem XtreemFS Y1 - 2012 ER - TY - THES A1 - Beick, Matthias T1 - On-Line Processing of Streams and Time Series – An Evaluation Y1 - 2010 ER - TY - THES A1 - Borchert, Sebastian T1 - Generische Templates zur Kommunikation in heterogenen Manycore-Systemen Y1 - 2011 ER - TY - THES A1 - Merkulow, Igor T1 - Parameter selection and evaluation for programming of heterogeneous architectures Y1 - 2013 ER - TY - JOUR A1 - Härtig, Hermann A1 - Matsuoka, Satoshi A1 - Mueller, Frank A1 - Reinefeld, Alexander T1 - Resilience in Exascale Computing (Dagstuhl Seminar 14402) JF - Dagstuhl Reports Y1 - 2015 U6 - https://doi.org/10.4230/DagRep.4.9.124 VL - 4 IS - 9 SP - 124 EP - 139 ER - TY - JOUR A1 - Tuma, Christian A1 - Sauer, Joachim T1 - Quantum chemical ab initio prediction of proton exchange barriers between CH4 and different H-zeolites JF - The Journal of Chemical Physics Y1 - 2015 U6 - https://doi.org/10.1063/1.4923086 VL - 143 IS - 10 SP - 102810-1 EP - 102810-13 ER - TY - CHAP A1 - Wende, Florian A1 - Steinke, Thomas A1 - Reinefeld, Alexander ED - Gray, A. ED - Smith, L. ED - Weiland, M. T1 - The Impact of Process Placement and Oversubscription on Application Performance: A Case Study for Exascale Computing T2 - Proceedings of the 3rd International Conference on Exascale Applications and Software, EASC 2015 Y1 - 2015 SN - 978 -0-9 926615 -1-9 SP - 13 EP - 18 PB - The University of Edinburgh ER - TY - CHAP A1 - Noack, Matthias A1 - Wende, Florian A1 - Oertel, Klaus-Dieter ED - Reinders, James ED - Jeffers, Jim T1 - OpenCL: There and Back Again T2 - High Performance Parallelism Pearls Y1 - 2015 SN - 978-0-12-803819-2 VL - 2 SP - 355 EP - 378 PB - Morgan Kaufman, Elsevier ER - TY - JOUR A1 - Kramer, Tobias A1 - Noack, Matthias T1 - Prevailing Dust-transport Directions on Comet 67P/Churyumov–Gerasimenko JF - The Astrophysical Journal Letters N2 - Dust transport and deposition behind larger boulders on the comet 67P/Churyumov–Gerasimenko (67P/C–G) have been observed by the Rosetta mission. We present a mechanism for dust-transport vectors based on a homogeneous surface activity model incorporating in detail the topography of 67P/C–G. The combination of gravitation, gas drag, and Coriolis force leads to specific dust transfer pathways, which for higher dust velocities fuel the near-nucleus coma. By distributing dust sources homogeneously across the whole cometary surface, we derive a global dust-transport map of 67P/C–G. The transport vectors are in agreement with the reported wind-tail directions in the Philae descent area. Y1 - 2015 U6 - https://doi.org/10.1088/2041-8205/813/2/L33 VL - 813 IS - 2 SP - L33 ER - TY - JOUR A1 - Schäfer, Patrick T1 - Scalable time series classification JF - Data Mining and Knowledge Discovery N2 - Time series classification tries to mimic the human understanding of similarity. When it comes to long or larger time series datasets, state-of-the-art classifiers reach their limits because of unreasonably high training or testing times. One representative example is the 1-nearest-neighbor dynamic time warping classifier (1-NN DTW) that is commonly used as the benchmark to compare to. It has several shortcomings: it has a quadratic time complexity in the time series length and its accuracy degenerates in the presence of noise. To reduce the computational complexity, early abandoning techniques, cascading lower bounds, or recently, a nearest centroid classifier have been introduced. Still, classification times on datasets of a few thousand time series are in the order of hours. We present our Bag-Of-SFA-Symbols in Vector Space classifier that is accurate, fast and robust to noise. We show that it is significantly more accurate than 1-NN DTW while being multiple orders of magnitude faster. Its low computational complexity combined with its good classification accuracy makes it relevant for use cases like long or large amounts of time series or real-time analytics. Y1 - 2015 U6 - https://doi.org/10.1007/s10618-015-0441-y SP - 1 EP - 26 ER - TY - CHAP A1 - Kruber, Nico A1 - Lange, Maik A1 - Schintke, Florian T1 - Approximate Hash-Based Set Reconciliation for Distributed Replica Repair T2 - 2015 IEEE 34th International Symposium on Reliable Distributed Systems (SRDS) Y1 - 2015 U6 - https://doi.org/10.1109/SRDS.2015.30 SP - 166 EP - 175 PB - IEEE ER - TY - BOOK A1 - Ehrig, Hartmut A1 - Ermel, Claudia A1 - Golas, Ulrike A1 - Hermann, Frank T1 - Graph and Model Transformation BT - General Framework and Applications N2 - This book is a comprehensive explanation of graph and model transformation. It contains a detailed introduction, including basic results and applications of the algebraic theory of graph transformations, and references to the historical context. Then in the main part the book contains detailed chapters on M-adhesive categories, M-adhesive transformation systems, and multi-amalgamated transformations, and model transformation based on triple graph grammars. In the final part of the book the authors examine application of the techniques in various domains, including chapters on case studies and tool support. The book will be of interest to researchers and practitioners in the areas of theoretical computer science, software engineering, concurrent and distributed systems, and visual modelling. Y1 - 2015 SN - 978-3-662-47979-7 U6 - https://doi.org/10.1007/978-3-662-47980-3 PB - Springer-Verlag Berlin Heidelberg ER - TY - THES A1 - Schäfer, Patrick T1 - Scalable Time Series Similarity Search for Data Analytics Y1 - 2015 UR - http://edoc.hu-berlin.de/docviews/abstract.php?id=42117 ER - TY - THES A1 - Lange, Maik T1 - Effiziente Reparatur von Repliken in Distributed Hash Tables N2 - Eine distributed hash Table (DHT) stellt eine über multiple Rechner strukturiert verteilte Tabelle von Schlüssel-Wert-Paaren dar. Ein verteiltes System unterliegt zumeist einer Teilnehmerdynamik in Form von ausfallenden oder beitretenden Knoten, wodurch Daten verloren gehen können. Zur Sicherstellung der Verfügbarkeit aller Schlüssel-Wert-Paare ist Redundanz notwendig. Die Einführung einer Redundanzschicht erhöht die Verfügbarkeit der Daten erheblich auf Kosten einer verringerten Leistungsfähigkeit. Der Fokus dieser Arbeit liegt im Erhalt der Redundanz, was die Regeneration verlorener Kopien sowie eine Aktualisierung veralteter Kopien umfasst. Die Regeneration verlorener Kopien ist notwendig um die Verfügbarkeit langfristig zu sichern. Die Aktualisierung ist optional und verbessert die Leselatenz in geografisch weit verteilten Systemen. Die vorgestellte Lösung besteht aus drei Komponenten. Der Set Reconciliation Dienst ermöglicht den effizienten Vergleich zweier Knoten zur Identifikation verlorener und veralteter Kopien. Der Aktualisierungsdienst synchronisiert die verglichenen Knoten durch die Übertragung der Differenzen. Die dritte Komponente ist ein Anti-Entropie Protokoll, dass die Auswahl eines jeden Knotens als Synchronisationspartner sicherstellt. Das Ziel dieser Arbeit liegt in dem Vergleich dreier Set Reconciliation Algorithmen, deren Eignung und Leistungsfähigkeit für die Erkennung verlorener und veralteter Kopien evaluiert werden soll. Ausgewählt wurden der Bloom Filter, der Merkle-Tree sowie deren Kombination der Approximate Reconciliation Tree. Die Evaluation zeigte, dass der Merkle-Tree die höchste Genauigkeit besitzt und spätestens nach einer initiierten Synchronisation eines jeden Knotens zur vollständigen Synchronität in der DHT führt. Der Bloom Filter besitzt bei der Erkennung verlorener Repliken nur die halbe Genauigkeit gegenüber veralteten Repliken, wodurch die Konvergenzgeschwindigkeit dementsprechend geringer ist gegenüber dem Merkle-Tree. Dafür sind die Übertragungskosten des Bloom Filter um bis zu 80% geringer als beim Merkle-Tree und weisen kaum nennenswerte Spitzen auf. Die Übertragungskosten des Merkle-Tree sind abhängig von der Anzahl der Differenzen, sodass bei einer Differenz von Null nur eine Signatur mit weniger als einem kByte übertragen werden muss. Ist die Differenz größer, steigen die Kosten je nach Bucket-Größe an. Der Approximate Reconciliation Tree ist ein als Bloom Filter codierter Merkle-Tree, der je nach Parameterkonstellation die Eigenschaften einer der beiden Strukturen aufweist. Die Bloom Filter ähnlichen Konfigurationen bieten keinen Vorteil, wohingegen die Merkle-Tree ähnlichen nur zwei Mitteilungsrunden benötigen bei einer leichten Genauigkeitsverringerung gegenüber dem Merkle-Tree. Y1 - 2012 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-42275 ER - TY - THES A1 - Keidel, Stefan T1 - Snapshots in Scalaris N2 - Eines der größten Hindernisse beim praktischen Einsatz von Scalaris, einer skalierbaren Implementierung einer verteilten Hashtabelle mit Unterstützung für Transaktionen, ist das Fehlen eines Verfahrens zur Aufnahme eines konsistenten Zustandes des gesamten Systems. Wir stellen in dieser Arbeit ein einfaches Protokoll vor, dass diese Aufgabe erfüllt und sich, auf Grund der von uns gewählten Herangehensweise, leicht implementieren lässt. Als Ausgangspunkt dafür wählen wir aus einer Reihe von „klassischen“ Snapshot-Algorithmen ein 1993 von Mattern entworfenes Verfahren, welches auf dem Algorithmus von Lai und Yang basiert, aus. Diese Entscheidung basiert auf einer gründlichen Analyse der Protokolle unter Berücksichtigung der Architektur der existierenden Software. Im nächsten Arbeitsschritt benutzen wir unser vollständiges Wissen über die Interna des Transaktionssystems von Scalaris und vereinfachen damit das Verfahren hinsichtlich Benutzbarkeit und Implementierungskomplexität, ohne die Anforderungen an den aufgenommenen Zustand aufzuweichen. Statt einer losen Anhäufung lokaler Zustände der einzelnen Teilnehmerknoten können wir am Ende eine große Schlüssel-Wert-Tabelle als Ergebnis erzeugen, die konsistent ist, sich leicht weiterverarbeiten lässt und die einem Zustand entspricht, in dem sich das System einmal befunden haben könnte. Nachdem wir das Verfahren dann in Software umgesetzt haben, werten wir die Ergebnisse hinsichtlich des Einflusses auf die Performanz des Gesamtsystems aus und diskutieren mögliche Weiterentwicklungen. KW - scalaris KW - dht KW - algorithm Y1 - 2013 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-42282 ER - TY - THES A1 - Hupfeld, Felix T1 - Causal weak-consistency replication – a systems approach Y1 - 2009 U6 - http://nbn-resolving.de/urn/resolver.pl?nbn:de:kobv:11-100100235 UR - http://edoc.hu-berlin.de/docviews/abstract.php?id=29970 ER - TY - THES A1 - Hoffmann, Marie T1 - Approximate Algorithms for Distributed Systems N2 - Peer-to-peer (P2P) systems form a special class of distributed systems. Typically, nodes in a P2P system are flat and share the same responsabilities. In this thesis we focus on three problems that occur in P2P systems: the storage of data replicates, quantile computation on distributed data streams, and churn rate estimation. Data replication is one of the oldest techniques to maintain stored data in a P2P system and to reply to read requests. Applications, which use data replication are distributed databases. They are part of an abstract overlay network and do not see the underlying network topology. The question is how to place a set of data replicates in a distributed system such that response times and failure probabilities become minimal without a priori knowledge of the topology of the underlying hardware nodes? We show how to utilize an agglomerative clustering procedure to reach this goal. State-of-the-art algorithms for aggregation of distributed data or data streams require at some point synchronization, or merge data aggregates hierarchically, which does not accompany the basic principle of P2P systems. We test whether randomized communication and merging of data aggregates are able to produce the same results. These data aggregates serve for quantile queries. Constituting and maintaining a P2P overlay network requires frequent message passing. It is a goal to minimize the number of maintenance messages since they consume bandwidth which might be missing for other applications. The lower bound of the frequency for mainte- nance messages is highly dependent on the churn rate of peers. We show how to estimate the mean lifetime of peers and to reduce the frequency for maintenance messages without destabilizing the infrastructure of the constituting overlay. KW - peer-to-peer, machine learning, approximate, clustering, quantile, linear regression Y1 - 2013 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-42370 ER - TY - THES A1 - Berlin, Michael T1 - Popularitätsbasierte Anpassung des Replikationsfaktors in verteilten Dateisystemen T1 - Popularity-based Adjustment of the Replication Factor in Distributed File Systems N2 - Verteilte Dateisysteme erlauben es zusätzliche Replikate von Dateien anzulegen, um Client-Zugriffe auf mehrere Server zu verteilen. Bei einer einheitlichen Festlegung des Replikationsfaktors für alle Dateien wird der beschränkte verfügbare Speicherplatz jedoch nicht effizient genutzt, da es nur einen geringen Anteil von Dateien gibt, die häufig angefragt werden, während die restlichen Dateien unnötig Speicherplatz belegen. Der erste Teil dieser Arbeit beschreibt daher ein Verfahren den Replikationsfaktor einer Datei in Abhängigkeit ihrer Popularität festzulegen. Im Kontext des verteilten Dateisystems XtreemFS wurde dazu ein zentraler Dienst für die dynamische Replikation implementiert und mit einem Trace simuliert. Die Auswertung zeigt, dass die popularitätsbasierte Anpassung ein geeignetes Verfahren ist den Replikationsfaktor dynamisch festzulegen, da bei einer wöchentlichen Ermittlung der Popularität weniger als durchschnittlich 3,1% zusätzliche Replikate angelegt wurden. Da der Dienst selbst nicht mit einer beliebigen Anzahl von Dateien skaliert, muss er in mehrere Partitionen unterteilt und dezentral ausgeführt werden. Darum entwickelt der zweite Teil der Arbeit eine dezentrale Variante des Dienstes und zeigt, dass der Replikationsfaktor identisch zum zentralen Fall festgelegt werden kann. Nur im Fall eines Netzwerkausfalls oder nicht synchronisierter lokaler Uhren tritt eine Abweichung der Replikationsfaktoren auf, deren Ausmaß in der Simulation untersucht wurde. N2 - Distributed file systems allow the creation of additional file replicas in order to spread requests across several servers. However, setting a uniform number of replicas for every file would not utilize the available storage space in an efficient manner. As there are only few popular files, the majority of files would unnecessarily use up the limited space. Therefore the first part of this thesis presents a method to adjust the replication factor depending on the popularity of the files. This method was implemented as a central service for dynamic replication in the context of the distributed file system XtreemFS. The service was then simulated using a trace. A weekly observation of the popularity resulted in an average creation rate of 3.1% compared to all replicas. This shows that popularity-based adjustment is a feasible way to set the replication factor dynamically. As the service itself does not scale with the number of observed files, it needs to be partitioned and executed in a distributed manner. Therefore the second part of this thesis develops a distributed version of the service and shows that it determines replication factors equal to the result of the central version. However, the replication factor may vary if there is a network outage or a drift of the local clocks. The degree of variation was analyzed in simulations. Y1 - 2011 N1 - Thesis for the German Diplom degree (comparable to a Master degree) in Computer Science. ER - TY - JOUR A1 - Grunzke, Richard A1 - Breuers, Sebastian A1 - Gesing, Sandra A1 - Herres-Pawlis, Sonja A1 - Kruse, Martin A1 - Blunk, Dirk A1 - de la Garza, Luis A1 - Packschies, Lars A1 - Schäfer, Patrick A1 - Schärfe, Charlotta A1 - Schlemmer, Tobias A1 - Steinke, Thomas A1 - Schuller, Bernd A1 - Müller-Pfefferkorn, Ralph A1 - Jäkel, René A1 - Nagel, Wolfgang A1 - Atkinson, Malcolm A1 - Krüger, Jens T1 - Standards-based metadata management for molecular simulations JF - Concurrency and Computation: Practice and Experience Y1 - 2013 U6 - https://doi.org/10.1002/cpe.3116 ER - TY - CHAP A1 - Weinhold, Carsten A1 - Lackorzynski, Adam A1 - Bierbaum, Jan A1 - Küttler, Martin A1 - Planeta, Maksym A1 - Härtig, Hermann A1 - Shiloh, Amnon A1 - Levy, Ely A1 - Ben-Nun, Tal A1 - Barak, Amnon A1 - Steinke, Thomas A1 - Schütt, Thorsten A1 - Fajerski, Jan A1 - Reinefeld, Alexander A1 - Lieber, Matthias A1 - Nagel, Wolfgang T1 - FFMK: A Fast and Fault-tolerant Microkernel-based System for Exascale Computing T2 - SPPEXA Symposium 2016 Y1 - 2016 U6 - https://doi.org/10.1007/978-3-319-40528-5_18 ER - TY - CHAP A1 - Fajerski, J. A1 - Noack, Matthias A1 - Reinefeld, Alexander A1 - Schintke, Florian A1 - Schütt, Thorsten A1 - Steinke, Thomas T1 - Fast In-Memory Checkpointing with POSIX API for Legacy Exascale-Applications T2 - SPPEXA Symposium 2016 Y1 - 2016 U6 - https://doi.org/10.1007/978-3-319-40528-5_19 ER - TY - THES A1 - Bärhold, Robert T1 - Konzipierung und Implementierung eines Quota-Protokolls in objektbasierten Dateisystemen N2 - Verteilte Dateisysteme, wie sie unter anderem in Cloud-Umgebungen eingesetzt werden, werden häufig von verschiedenen Anwendern und Anwendungen zeitgleich verwendet. Da diese Ressourcen in Cloud-Umgebungen gemietet sind, muss sichergestellt werden, dass ein Kunde nur die Ressourcen verwenden kann, für die er bezahlt hat. Andernfalls könnten andere Kunden beeinträchtigt werden. Solch eine Obergrenze wird auch als Quota bezeichnet. Speziell für objektbasierte Dateisysteme, bei denen die Metadaten einer Datei von den Dateiinhalten getrennt gespeichert und verwaltet werden, erfordert die Forcierung einer Quota ein verteiltes Protokoll. Im Rahmen der vorliegenden Arbeit wurde ein Quota-Protokoll für objektbasierte Dateisysteme entwickelt und implementiert. Bei einer aktiven Quota wird zunächst ein Teil des Speicherplatzes für eine bestimmte Datei blockiert, der als Voucher bezeichnet wird. Anschließend wird dem Client die maximale Dateigröße in signierter Form zugewiesen. Sie ergibt sich aus der Summe der bisherigen Dateigröße und allen erstellten Vouchers. Durch diesen Ansatz können die Speicherserver bei jedem Zugriff lokal prüfen, ob der Schreibzugriff die maximale Dateigröße überschreiten würde. Reicht diese nicht aus, muss ein zusätzlicher Voucher erstellt werden, sofern noch Speicherplatz verfügbar ist. Nicht verbrauchter Speicherplatz wird am Ende wieder freigegeben. Zusätzlich unterstützt das Protokoll die Verteilung der Inhalte einer Datei auf mehrere Server (Striping) sowie Sparse-Dateien, bei denen beliebige Bereiche der Datei leer bleiben. Die Implementierung erfolgte im objektbasierten Dateisystem XtreemFS. Dabei wurden spezielle Funktionen von XtreemFS, wie die Dateireplikation, mit einbezogen. In einer abschließenden Evaluation wurde der Einfluss des implementierten Quota- Protokolls bezüglich der Performanz von XtreemFS untersucht. Dabei zeigte sich zunächst, dass bei einer aktiven Quota die Performanz beim Schreiben großer Daten- mengen abhängig von der eingestellten Voucher-Größe ist. Ist diese zu niedrig gewählt, so muss der Client seine maximale Dateigröße durch zusätzliche Anfragen beim Metada- tenserver erhöhen, was die Performanz negativ beeinträchtigt. Bei einer Voucher-Größe von 100 MiB wurde beim Schreiben einer 10 GiB-Datei ein Performanzverlust von unter 2% gemessen, verglichen mit dem Entwicklungsstand ohne implementiertes Quota- Protokoll. Bei der Erstellung mehrerer 64 KiB-Dateien wurde aufgrund zusätzlicher Nachrichten ein Verlust von rund 8% gemessen. KW - Quota KW - Protokoll KW - Verteiltes Dateisystem Y1 - 2016 ER - TY - GEN A1 - Clausecker, Robert T1 - Notes on the Construction of Pattern Databases N2 - This report aims to explain and extend pattern databases as a tool in finding optimal solutions to combination puzzles. Using sliding tile puzzles as an example, an overview over techniques to construct and use pattern databases is given, analysed, and extended. As novel results, zero aware additive pattern databases and PDB catalogues are introduced. This report originally appeared as a bachelor thesis at Humboldt University of Berlin under the title Notes on the Construction of Tablebases. T3 - ZIB-Report - 17-59 KW - pattern-database 15-puzzle 24-puzzle ida* heuristic-search pdb-catalogue zpdb Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-65586 SN - 1438-0064 ER - TY - GEN A1 - Skrzypczak, Jan T1 - Weakening Paxos Consensus Sequences for Commutative Commands N2 - Consensus (agreement on a value) is regarded as a fundamental primitive in the design of fault tolerant distributed systems. A well-known solution to the consensus problem is Paxos. Extensions of the Paxos algorithm make it possible to reach agreement on a sequence of commands which can then be applied on a replicated state. However, concurrently proposed commands can create conflicts that must be resolved by ordering them. This thesis delivers an in-depth description of a Paxos-based algorithm to establish such command sequences, called Paxos Round Based Register (PRBR). In contrast to conventional approaches like Multi-Paxos, PRBR can manage multiple command sequences independently. Furthermore, each sequence is established in-place, which eliminates the need for managing multiple Paxos instances. PRBR is extended as part of this thesis to exploit the commutativity of concurrently proposed commands. As a result, conflict potential can be greatly reduced which increases the number of commands that can be handled by PRBR. This is shown for a number of workloads in an experimental evaluation. T3 - ZIB-Report - 17-64 KW - Consensus KW - Paxos Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-65741 SN - 1438-0064 ER - TY - THES A1 - Skrzypczak, Jan T1 - Weakening Paxos Consensus Sequences for Commutative Commands N2 - Consensus (agreement on a value) is regarded as a fundamental primitive in the design of fault tolerant distributed systems. A well-known solution to the consensus problem is Paxos. Extensions of the Paxos algorithm make it possible to reach agreement on a sequence of commands which can then be applied on a replicated state. However, concurrently proposed commands can create conflicts that must be resolved by ordering them. This thesis delivers an in-depth description of a Paxos-based algorithm to establish such command sequences, called Paxos Round Based Register (PRBR). In contrast to conventional approaches like Multi-Paxos, PRBR can manage multiple command sequences independently. Furthermore, each sequence is established in-place, which eliminates the need for managing multiple Paxos instances. PRBR is extended as part of this thesis to exploit the commutativity of concurrently proposed commands. As a result, conflict potential can be greatly reduced which increases the number of commands that can be handled by PRBR. This is shown for a number of workloads in an experimental evaluation. KW - Paxos KW - Consensus Y1 - 2017 ER - TY - CHAP A1 - Noack, Matthias T1 - OpenCL in Scientific High Performance Computing: The Good, the Bad, and the Ugly T2 - Proceedings of the 5th International Workshop on OpenCL N2 - For writing a new scientific application, portability across existing and future hardware should be the major design goal, as there is a multitude of different compute devices, and programme codes typically outlive systems by far. Unlike other programming models that address parallelism or heterogeneity, OpenCL does provide practical portability across a wide range of HPC-relevant architectures. Other than that, it has a range of further advantages like being a library-only implementation, and using runtime kernel-compilation. We present experiences with utilising OpenCL alongside C++, MPI, and CMake in two real-world scientific codes. Our targets are a Cray XC40 supercomputer with multi- and many-core (Xeon Phi) CPUs, as well as multiple smaller systems with Nvidia and AMD GPUs. We shed light on practical issues arising in such a scenario, like the interaction between OpenCL and MPI, discuss solutions, and point out current limitations of OpenCL in the domain of scientific HPC from an application developer's and user's point of view. Y1 - 2017 U6 - https://doi.org/10.1145/3078155.3078170 SP - 12:1 EP - 12:3 ER - TY - GEN A1 - Kramer, Tobias A1 - Noack, Matthias A1 - Baum, Daniel A1 - Hege, Hans-Christian A1 - Heller, Eric J. T1 - Dust and gas emission from cometary nuclei: the case of comet 67P/Churyumov-Gerasimenko N2 - Comets display with decreasing solar distance an increased emission of gas and dust particles, leading to the formation of the coma and tail. Spacecraft missions provide insight in the temporal and spatial variations of the dust and gas sources located on the cometary nucleus. For the case of comet 67P/Churyumov-Gerasimenko (67P/C-G), the long-term obser- vations from the Rosetta mission point to a homogeneous dust emission across the entire illuminated surface. Despite the homogeneous initial dis- tribution, a collimation in jet-like structures becomes visible. We propose that this observation is linked directly to the complex shape of the nucleus and projects concave topographical features into the dust coma. To test this hypothesis, we put forward a gas-dust description of 67P/C-G, where gravitational and gas forces are accurately determined from the surface mesh and the rotation of the nucleus is fully incorporated. The emerging jet-like structures persist for a wide range of gas-dust interactions and show a dust velocity dependent bending. T3 - ZIB-Report - 17-78 Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-66338 SN - 1438-0064 ER - TY - GEN A1 - Reinefeld, Alexander A1 - Stüben, Hinnerk A1 - Schintke, Florian A1 - Din, George T1 - GuiGen: A Toolset for Creating Customized Interfaces for Grid User Communities N2 - \textsf{\itshape{GuiGen}} is a comprehensive set of tools for creating customized graphical user interfaces (GUIs). It draws from the concept of computing portals, which are here seen as interfaces to application-specific computing services for user communities. While \textsf{\itshape{GuiGen}} was originally designed for the use in computational grids, it can be used in client/server environments as well. Compared to other GUI generators, \textsf{\itshape{GuiGen}} is more versatile and more portable. It can be employed in many different application domains and on different target platforms. With \textsf{\itshape{GuiGen}}, application experts (rather than computer scientists) are able to create their own individually tailored GUIs. T3 - ZIB-Report - 02-06 KW - Grid computing KW - customized user interfaces KW - grid user communities KW - web portals KW - XML Y1 - 2002 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-6737 ER - TY - GEN A1 - Busch, Hubert A1 - Droebes, Ursula A1 - Fröhlich, Marek A1 - Schimmel, Christian T1 - Das Berliner Wissenschaftsnetz BRAIN 2007 T1 - Berlin Research Area Information Network BRAIN 2007 N2 - Berlin als Stadtstaat ist Kommune und Land der Bundesrepublik zugleich und Standort vieler renommier-ter Wissenschafts- und Kultureinrichtungen. In enger Zusammenarbeit der Wissenschaftseinrichtungen mit dem IT-Dienstleistungszentrum Berlin (ITDZ, ehemals Landesbetrieb für Informationstechnik), der für die Behörden Berlins zuständigen Einrichtung, wurde seit 1993 ein landeseigenes Glasfasernetz mit einer derzeitigen Länge von 856 km Glasfaserkabel (je Kabel bis zu 144 Einzelfasern) zur gemeinsamen Nutzung von Wissenschaft und Verwaltung errichtet und weiter ausgebaut. 1994 erfolgte der offizielle Start des Berliner Wissenschaftsnetzes BRAIN (Berlin Research Area Information Network), als durch einen Beschluss des Senats von Berlin die Nutzung des landeseigenen Glasfasernetzes durch die Wissen-schaftseinrichtungen festgeschrieben wurde. Bereits 1995 wurden durch die Wissenschaftseinrichtungen auf diesem Glasfasernetz die ersten sieben Anschlüsse in ATM-Technik (Classical BRAIN-ATM) in Betrieb genommen, 1999 wurden anschließend auch erste Strecken in Ethernet-Technik (Classical BRAIN-GE) betrieben. Diese heterogenen Netze mit unterschiedlichen Netzgeräten wurden dezentral von den Netzadministratoren der beteiligten Einrichtungen nach globalen Absprachen betreut. Die dezentrale Administration erschwerte das Management und die Erweiterungen der Gesamtnetze. Basierend auf den vorliegenden Erfahrungen vereinbarten die Berliner Wissenschaftseinrichtungen, ein technisch neues Verbundnetz in Gigabit-Ethernet-Technik mit einheitlichen Geräten und einem zentralen Netzwerkmana-gement aufzubauen und zu betreiben. Seit November 2003 betreibt BRAIN auf dem landeseignen Glasfasernetz ein auf MPLS-Technik basie-rendes Gigabit-Ethernet-Netz, das „BRAIN-Verbundnetz“, mit den Diensten LAN-to-LAN-Kopplung der Einrichtungen, regionaler IP-Verkehr, Übergang zum Verwaltungsnetz und WiN-Backup. Das BRAIN-Verbundnetz löste die dezentral betreuten Vorläufernetze komplett ab. Von den derzeit 27 BRAIN-Teilnehmern nutzen 24 Einrichtungen an 53 in der Stadt verteilten Standorten die Dienste des BRAIN-Verbundnetzes, 18 Standorte sind mit 1000 Mbit/s und 35 Standorte mit 100 Mbit/s angeschlossen. Für verteilte Standorte einer Einrichtung besteht zudem die Möglichkeit, diese über dedizierte Fasern oder Bandbreiten miteinander zu vernetzen. Seit dem 2. Quartal 2007 wird im Rahmen eines Pilotprojekts der Nutzen eines zentral gemanagten Fibre Channel-Netzwerks "BRAIN-SAN" ermittelt, um Möglichkeiten einer verteilten Datenhaltung der Berliner Hochschulen und wissenschaftlichen Einrichtungen zu schaf-fen. Zusätzlich zu den vorgenannten Diensten nutzt der DFN-Verein die BRAIN-Struktur für die Verbindun-gen der X-WiN-Kernnetzknoten in Berlin und Potsdam untereinander und für Zugangsleitungen zu den Anwendern. Mit Stand 2007 nutzt das Berliner Wissenschaftsnetz BRAIN vom landeigenen Glasfasernetz 2100 km Einzelfasern und verbindet insgesamt 43 Einrichtungen (BRAIN-Teilnehmer und DFN-Anwender) aus Wissenschaft, Bildung und Kultur mit 129 Standorten. Der Betrieb von BRAIN wird im wesentlichen durch seine Nutzer finanziert. Das Land Berlin trägt aller-dings pauschal die überwiegenden Kosten für die Wartung des Glasfasernetzes, soweit es vom ITDZ be-reit gestellt wird. Zentrales Planungs- und Steuerungsorgan für BRAIN ist die von der Senatsverwaltung für Bildung, Wis-senschaft und Forschung eingerichtete BRAIN-Planungsgruppe. Sie besteht aus Mitarbeitern der Rechen-zentren der drei Berliner Universitäten und des ZIB. Nach außen wird BRAIN in rechtlicher und wirtschaftlicher Hinsicht treuhänderisch vom ZIB vertreten, die BRAIN-Geschäftsstelle befindet sich ebenfalls im ZIB. N2 - Berlin as a city state is both local authority and federal state of the Federal Republic, as well as a location of many renowned institutions of research and culture. In close cooperation of the institutions of research with the IT service centre Berlin (ITDZ, the former Landesbetrieb für Informationstechnik) - which is the appropriate facility for the authorities of Berlin - a glass fibre network of a total extension of 856 kilome-tres of fibre optics (144 fibres each cable optic) for the common use of research and administration has been established and advanced since 1993. In 1994, when a resolution of the Senate of Berlin laid down the use of the appropriate fibre networks by the research facilities, this was the official beginning of the Berlin Research Area Information Network (BRAIN). The first seven interfaces in this fibre network in ATM technology (Classical BRAIN-ATM) were already established by the research facilities in 1995. In 1999, first systems run in Ethernet technology (Classical BRAIN-GE). These heterogeneous networks with different interfaces have been supported locally by the network administrators of the research facili-ties following global agreements. Management and advancement of the overall networks were encum-bered by these local administrations. Based on the existing experience, Berlin's research facilities agreed on the building and advancement of a technically new integrated network in gigabit Ethernet technology with standardised facilities and a centrally managed network. Since November 2003 the Berlin Research Area Information Network established a Gigabit Ethernet - called “BRAIN Integrated Network” - based on MPLS technology, including LAN to LAN linking of the facilities, local IP traffic, interface to the administration's network and WIN back-up. This BRAIN Inte-grated Network has completely replaced the locally administered predecessor networks. 24 of 27 BRAIN participants use the services of the BRAIN Integrated Network on 53 locations spread all over the city. 18 locations are connected with 1000 Mbit/s and 35 locations with 100 Mbit/s. Moreover, spread locations of a single facility have the possibililty to communicate by dedicated fibres or bandwidths. From the 2nd quarter 2007 within the scope of a pilot scheme, the advantage of a centrally administered fibre channel network "BRAIN-SAN" will be determined in order to accomplish possibilities of a spread data manage-ment of Berlin's universities and research facilities. In addition to the aforementioned services the DFN association makes use of BRAIN's structure for the connection of the X-WiN-core network nodes in Berlin and Potsdam und for access pathways to the us-ers. As from 2007, Berlin's research network BRAIN uses 2100 kilometres of single fibres from the country's fibre glass network and connects a total of 43 facilities (BRAIN participants and DFN users) from re-search, education and culture with 129 locations. The operations of BRAIN are funded basically by its users. However, the country of Berlin bears most of the costs for the maintenance of the glass fibre network, as far as it is provided by ITDZ. Central planning and steering body for BRAIN is the BRAIN planning group, which has been arranged by the administration of the Senatsverwaltung für Bildung, Wissenschaft und Forschung. It consists of staff from the computing centres of Berlin's three universities and of ZIB. BRAIN is represented legally and economically on a trust basis by the ZIB, where the BRAIN office is located also. T3 - ZIB-Report - 07-42 KW - Wissenschaftsnetz KW - Glasfasernetz KW - LAN-to-LAN-Kopplung KW - IP-Verkehr KW - Research Netzwork KW - Fibre Network KW - LAN to LAN linking KW - IP traffic Y1 - 2007 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-10458 SN - 1438-0064 ER - TY - GEN A1 - Plantikow, Stefan T1 - Transaktionen für verteilte Wikis auf strukturierten Overlay-Netzwerken T1 - Transactions for Distributed Wikis on Structured Overlay Networks N2 - Die Arbeit präsentiert ein Transaktionsverfahren für strukturierte Overlay-Netzwerke, das an die Erfordernisse verteilter Informationssysteme mit relationalem Datenmodell angepasst ist. Insbesondere wird der Einsatz von Transaktionen für verteilte Wikis betrachtet, die moderne Funktionalitäten, wie Metadaten und zusätzliche Indexe für die Navigation, unterstützen. Konsistenz und Dauerhaftigkeit der gespeicherten Daten erfordert die Behandlung von Knotenausfällen. Die Arbeit schlägt dafür das Zellenmodell vor: Das Overlay wird aus replizierten Zustandsmaschinen gebildet, um Verfügbarkeit zu gewährleisten. Das Transaktionsverfahren baut darauf auf und verwendet Two-Phase-Commit mit Fehlererkennung und Widerherstellung von ausgefallenen Transaktionsmanagern. Anwendungen wird eine Auswahl an pessimistischen und hybrid-optimistischen Nebenläufigkeitskontrollverfahren geboten, die die Minimierung von Latenzeffekten und die schnelle Ausführung von Nur-Lese-Transaktionen ermöglichen. Für die Beispielanwendung Wiki wird der erforderliche Pseudocode angegeben und die verschiedenen Nebenläufigkeitskontrollverfahren hinsichtlich ihrer Nachrichtenkomplexität verglichen. N2 - The report presents a transaction processing scheme for structured overlay networks and uses it to develop a distributed Wiki application based on a relational data model. The Wiki supports rich metadata and additional indexes for navigation purposes. Ensuring consistency and durability requires handling of node failures. Such failures are masked by providing high availability of nodes. This in turn is achieved by constructing the overlay from replicated state machines (cell model). Atomicity is realized using two phase commit with additional support for failure detection and restoration of the transaction manager. The developed transaction processing scheme provides the application with a mixture of pessimistic, hybrid optimistic and multiversioning concurrency control techniques to minimize the impact of replication on latency and optimize for read operations. The pseudocode of the relevant Wiki functions is presented and the different concurrency control techniques are evaluated in terms of message complexit T3 - ZIB-Report - 07-43 KW - Verteilte Transaktionen KW - Strukturierte Overlay-Netzwerke KW - Peer-to-Peer KW - Wikis KW - Nebenläufigkeitskontrolle KW - distributed transactions KW - structured overlay networks KW - peer-to-peer KW - wikis KW - concurrency control Y1 - 2007 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-10466 SN - 1438-0064 ER - TY - THES A1 - Lichtenstein, Tom T1 - Implementation eines Resourcebrokers im Kontext eines Grid-Datenmanagement-Systems Y1 - 2006 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-9968 ER - TY - THES A1 - Meltzer, Jörg T1 - Vergleich von Co-Reservierungs-Algorithmen in Grid-Umgebungen N2 - In dieser Arbeit werden effiziente Co-Reservierungs-Algorithmen vorgestellt, mit denen Rechenressourcen mehrerer Cluster im Grid reserviert werden können. Es werden fünf Algorithmen vorgestellt, die flexible Co-Reservierungsanfragen ermöglichen. In einer Co-Reservierungsanfrage müssen die angeforderten CPUs der Teilreservierungen exakt festgelegt werden. Die Cluster und die Startzeiten, bei denen die Teilreservierungen durchgeführt werden, ermittelt ein Co-Reservierungs-Algorithmus erst bei der Anfragebearbeitung. Die Benutzer können die Startzeit in der Anfrage eingrenzen, in dem sie eine früheste Startzeit und eine Deadline angeben. In den bisher entwickelten Reservierungsverfahren können Benutzer nur starre Co-Reservierungsanfragen stellen, in denen sie für alle Attribute der Teilreservierungen exakte Werte angeben müssen. Eine flexible Co-Reservierungsanfrage erlaubt einem Grid-Reservierungsdienst optimierte Reservierungsvarianten durchzuführen, da er aus vielen Reservierungsvarianten auswählen kann. Die Anwendungen von lokalen Benutzern können durch die Grid-Reservierungen verzögert werden. Bei der Auswahl der Reservierungsvarianten kann ein Grid-Reservierungsdienst dies berücksichtigen und den negativen Einfluß der Grid-Reservierungen verringern. Bei zwei Co-Reservierungs-Algorithmen werden auch zusätzliche Sortiervorgaben des Klienten bei der Auswahl der Reservierungsvarianten beachtet. Die Algorithmen wurden durch Simulationen mit dem Workload eines realen großen Supercomputers ausgewertet. Die Untersuchungen zeigen, daß sowohl die lokalen als auch die Grid-Benutzer von den flexiblen Anfragen profitieren können. Den lokalen Benutzern wurden die Ressourcen weniger oft durch zu früh gestellte Reservierungsanfragen entzogen. Die Grid- Benutzer können ihrerseits komfortabel eine optimierte Reservierungsvariante durchführen lassen. Y1 - 2006 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-9972 ER - TY - THES A1 - Moser, Monika T1 - Platzierung von Replikaten in Verteilten Systemen Y1 - 2006 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-9995 ER - TY - GEN A1 - Reinefeld, Alexander A1 - Schintke, Florian A1 - Schütt, Thorsten T1 - P2P Routing of Range Queries in Skewed Multidimensional Data Sets N2 - We present a middleware to store multidimensional data sets on Internet-scale distributed systems and to efficiently perform range queries on them. Our structured overlay network \emph{SONAR (Structured Overlay Network with Arbitrary Range queries)} puts keys which are adjacent in the key space on logically adjacent nodes in the overlay and is thereby able to process multidimensional range queries with a single logarithmic data lookup and local forwarding. The specified ranges may have arbitrary shapes like rectangles, circles, spheres or polygons. Empirical results demonstrate the routing performance of SONAR on several data sets, ranging from real-world data to artificially constructed worst case distributions. We study the quality of SONAR's routing information which is based on local knowledge only and measure the indegree of the overlay nodes to find potential hot spots in the routing process. We show that SONAR's routing table is self-adjusting, even under extreme situations, keeping always a maximum of $\lceil \log N \rceil$ routing entries. T3 - ZIB-Report - 07-23 KW - structured overlays KW - range queries KW - routing KW - multidimensional data sets Y1 - 2007 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-9671 SN - 1438-0064 ER - TY - THES A1 - Pham, The Anh T1 - Einbettung neuer Verwaltungsmethoden in die hierarchische Dateisystemsicht N2 - Die hierarchische Organisation von Dateien beherrscht Computersysteme seit vielen Jahren und wird sich vermutlich auch in Zukunft weiterhin durchsetzen. Dennoch stößt diese Verwaltungsmethode in einem klassischen hierarchischen Dateisystem bei dem jährlichen rasanten Zuwachs an neuen Daten an ihre Grenzen, auch wenn Nutzer eine ausgefeilte Verzeichnisstruktur mit einer disziplinierten Namensgebung konsequent auf- und ausbauen. Um den Überblick über die Dateien zu behalten, werden in dieser Arbeit neue Verwaltungsmethoden vorgestellt und in die hierarchische Dateisystemsicht eingebettet. Auf der Basis des hierarchischen Dateisystems bietet ein metadatenbasiertes Dateisystem neben dem hierarchischen Zugriff noch einen flexiblen, assoziativen Zugriff auf Dateien über virtuelle Objekte, indem Suchmethoden in Form einer Anfrage auf in einer Datenbank gespeicherte Index- und Metadaten angewendet werden. Das Ergebnis dieser Abfrage wird mit Hilfe von virtuellen Verzeichnissen und virtuellen Dateien in einer übersichtlichen Form dargestellt, so dass eine Nutzung der hierarchischen Sicht weiterhin intuitiv fortgesetzt wird. Das Datenmanagementsystem ZIBDMS, welches einen verteilten Metadatenkatalog und einen Dateireplikationskatalog beinhaltet, ermöglicht es, die oben genannten Verwaltungsmethoden für die NFS-Schnittstelle, CORBA-Middleware und Web Services transparent zu implementieren. Zudem stellt ZIBDMS weitere neue Dateiverwaltungsmethoden zur Verfügung, die sich in die hierarchische Dateisystemsicht integrieren lassen. Metadaten in Form von Attribut-Wert-Paaren lassen sich als virtuelle Datei darstellen und editieren. Eine Collection bietet die Möglichkeit, Dateien in einem logischen virtuellen Ordner zu organisieren. Mit einem Dependency-Graph lassen sich Dateien zueinander in Relation stellen, so dass eine Linkstruktur zwischen Dateien ausgedrückt werden kann. Das Verweiskonzept eines klassischen hierarchischen Dateisystems wird im ZIBDMS um eine neue Verweisart Weak-Link erweitert, um einen aktualisierbaren, konsistenten und zyklenfreien symbolischen Link anzubieten. In einer hierarchischen Sicht lässt sich durch Verweise ein Baum bilden, in dem eine Navigation und Verweisauflistung möglich sind, was außer ZIBDMS noch kein anderes System bietet. N2 - The hierarchical organization of files has dominated computer systems for many years and this will probably not change in the near future. However, with the rapid annual growth of new data this classical hierarchical file system management method reaches its limitations, even when the user consistently sets up and continually expands an elaborated directory structure with well-disciplined naming. This paper introduces new management methods to maintain an overview of all files which can be embedded in the hierarchical file system. A metadata-based file system, which is based on the hierarchical file system, offers, in addition to hierarchical access, a more flexible and associative access to files via virtual objects by providing query capabilities of index- and metadata which are stored in a database. The query results are presented in a clearly-arranged form of virtual directories and virtual files so that the intuitive hierarchical view continues to be maintained. The data management system ZIBDMS, which contains a distributed metadata catalog and a file replication catalog, permits a transparent implementation of these management methods for the NFS interface, CORBA-middleware or web services. Furthermore, ZIBDMS provides other new file management methods that can be integrated into the hierarchical file system view. Metadata in form of attribute-value-pairs can be presented and edited with a virtual file. A Collection makes it possible to organize files in logical virtual folders. Using a Dependency graph, files can be related to each other and expressed through a link structure between these files. In the ZIBDMS the reference concept of a classical hierarchal file system is extended with a new kind of reference called Weak Link in order to provide up-to-date, consistent and cycle-free symbolic links. With the references a tree can be established in a hierarchical view in which navigation and listing of references are possible; this capability is only possible in the ZIBDMS system. Y1 - 2005 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-10014 ER - TY - THES A1 - Rieche, Simon T1 - Lastbalancierung in Peer-to-Peer Systemen N2 - Peer-to-Peer (P2P) Systeme werden u.a. zur Verwaltung von großen Datenmengen benutzt, die auf verschiedene Rechner verteilt sind. Benutzern soll damit der Zugriff auf Daten innerhalb des Systems leicht ermöglicht werden. Damit in P2P Systemen die Daten effizient verteilt und gesucht werden können, existieren Distributed Hash Tables. Distributed Hash Tables (DHT) sind eine Methode, um globale Informationen persistent speichern zu können. Der Wertebereich der Hashfunktion, welche die zu veröffentlichenden Einträge auf Werte abbildet, wird in Abschnitte aufgeteilt, die einzelnen Knoten zugeteilt werden. Die meisten DHTs haben aber ein Problem bei der Verteilung der Last. Die verschiedenen DHT Systeme beruhen meist auf einem identischen Ansatz der Lastverteilung. Die Last wird nur mit Hilfe einer Hashfunktion verteilt. Es wird davon ausgegangen, dass diese Funktion die Last gleichmäßig verteilt. Im Rahmen dieser Arbeit wurde ein Verfahren zur Last Verteilung entwickelt, simuliert und implementiert. Bei dem Verfahren wird die Last wie bei der Verteilung von Wärme an die Umgebung abgegeben. Es wird mit existierenden Lastbalancierungsalgorithmen verglichen. Mit diesem neuen Verfahren ist es möglich, Last in DHTs besser zu verteilen ohne große Änderungen an den DHTs vorzunehmen. Es wird gezeigt, wie mit dem Verfahren zusätzlich die Fehlertoleranz des P2P Systems erhöht werden kann. N2 - One of the many uses of Peer-to-Peer (P2P) systems is the administration of large data sets that are distributed across different computers, with the goal of facilitating user access to files within the system. Distributed Hash Tables (DHT) are designed to enable the efficient distribution and search of files, by allowing global information to be persistently stored. The range of values of the hash function (the possible entries in the published hash table) are assigned to individual nodes. Most DHTs, however, have a problem with load distribution. The various DHT systems usually operate by distributing load equally among nodes. Thus the load is distributed using the help of the hash function. One assumes this function distributes the load evenly. In the context of this work a method of distributing load has been developed, simulated and implemented. With this method load is transferred in a fashion analogous to the dissipation of heat into the environment. Comparisons with existing algorithms for load balancing are drawn. With the new procedure it is possible to better distribute load in DHTs without requiring major changes to the DHTs themselves. It is shown that with the procedure the fault tolerance of P2P systems may also be increased. Y1 - 2003 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-10048 ER - TY - THES A1 - Schintke, Florian T1 - Ermittlung von Programmlaufzeiten anhand von Speicherzugriffen, Microbenchmarks und Simulation von Speicherhierarchien N2 - Kostenmodelle dienen der Ermittlung von Programmlaufzeiten, zum Vergleich der Effizienz von Algorithmen und zur Analyse des Verhaltens von Speicherhierarchien. Ein neuartiges Kostenmodell ist das Latency-of-Data-Access (LDA) Modell, das mehrere hierarchische Speicherebenen mit unterschiedlichen Latenzzeiten berücksichtigt. In dieser Diplomarbeit wird ein Simulator für Speicherhierarchien präsentiert, der die Berechnung von Programmausführungszeiten nach dem LDA-Modell erlaubt. Mit Hilfe des Simulators wird die These geprüft, daß mit diesem Modell die Ausführungszeit eines Programms adäquat abgeschätzt werden kann. Mit dem Simulator ist es erstmals praktikabel möglich, Programmausführungszeiten nach dem LDA-Modell zu bestimmen. Der Simulator kann für Systeme mit unterschiedlichen Speicherarchitekturen konfiguriert werden und unterstützt Mehrprozessorsysteme mit gemeinsamem Speicher (SMP-Systeme) mit verschiedenen Kohärenzprotokollen. Der Simulator kann mit den Ergebnissen von Microbenchmarks konfiguriert werden, die die Architekturparameter einer Speicherhierarchie messen. Die Ergebnisse bestätigen die These nicht nur für Einzelprozessorsysteme, sondern auch für SMP-Systeme, wo gleichzeitig interagierende Prozessoren gegenseitig ihre Zugriffsse-quenz auf Zwischenspeicher beeinflussen. Zusätzlich wurde eine neue Einsatzmöglichkeit des LDA-Modells entwickelt, um die Ausführungszeit von Programmteilen zu bestimmen. Einzelne Zugriffskosten können einem mehrerer parallel laufender Modelle zugeordnet werden. Dadurch können Kosten, die Zugriffe auf einzelne Speicherbereiche verursachen, separat bestimmt werden. Diese Profiling-Technik erlaubt Optimierungen an Datenstrukturen und Speicherzugriffsmustern durch präzise und gezielte Informationsproduktion. N2 - Cost models are used to determine the execution time of programs, to compare the efficiency of algorithms, and to analyse the behaviour of memory hierarchies. The Latency-of-Data-Access (LDA) model that takes into account multiple hierarchical memory levels with different latencies, is a newly proposed, innovative cost model. In this diploma-thesis, a simulator for memory hierarchies is presented that allows the calculation of execution times using the LDA model. The simulator is used to prove the claim that the execution time of a program can be accurately estimated with the LDA model. With the simulator, it is for the first time possible to determine the execution time of programs with this model in a practical way. The simulator can be configured for systems with various cache architectures and supports shared memory (SMP) multiprocessor systems with different cache coherence protocols. The simulator can be configured with the results from Microbenchmarks which measure the architectural properties of a memory hierarchy. The results confirm the claim not only for single processor systems, but also for SMP systems, where concurrently interacting processors influence each others cache access sequence. Additionally, a new field of usage of the LDA model was developed to determine execution times of program parts. Single access costs can be assigned to one of several parallel running models. As an example the costs of accesses to different memory areas can be split and determined separately. This profiling technique allows to optimise data structures and memory access patterns of sequential and parallel SMP programs by precise production of information. Y1 - 2000 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-10063 ER - TY - THES A1 - Schütt, Thorsten T1 - Synchronisation von verteilten Verzeichnisstrukturen N2 - Das Management von großen Datenmengen spielt eine immer wichtigere Rolle, wie aktuelle Entwicklungen in der Hochenergiephysik [2] zeigen. Für das DataGrid-Projekt zum Beispiel ist es notwendig, große Datenmengen auf mehrere Rechenzentren in Europa zu verteilen und die Daten untereinander zu synchronisieren. Auch innerhalb von Clustern gewinnen mit zunehmender Anzahl der Knoten Werkzeuge zur effizienten Synchronisation und Verteilung von Daten an Bedeutung. Im Rahmen dieser Arbeit wurde ein effizientes Verfahren zur Synchronisation von verteilten Verzeichnisstrukturen entwickelt und implementiert. Mit diesem Verfahren ist es möglich, unabhängige Änderungen an beliebigen Repositories gleichzeitig durchzuführen. Das Verfahren benötigt keine zentrale Instanz, wodurch eine gegenüber vielen existierenden Verfahren verbesserte Skalierbarkeit erreicht werden konnte. Dabei wurden Erkenntnisse aus der Graphentheorie eingesetzt und weiterentwickelt, um die Netzwerktopolo-gie und -handbreiten zwischen den Rechnern zu berücksichtigen. Durch die Verwendung einer Offline-Synchronisation werden Änderungen erst dann an andere Rechner propagiert, wenn der Nutzer dies anstößt. Das kann zum Beispiel nach einer abgeschlossenen Transaktion, die Änderungen an mehreren Dateien beinhaltet, angemessen sein. N2 - Current developments in high energy physics [2] show that the management of large datasets plays an important role. For the DataGrid project it is necessary to distribute large datasets over several computing centers all over Europe and to synchronize these datasets. Within clusters tools for efficient synchronization and distribution of data become more important, too. In this thesis, a method to synchronize distributed directory structures was developed and implemented which makes it possible to perform independent changes to arbitrary repositories simultaneously. This method needs no central instance and therefore the presented system achieves a better scalability than many existing systems. Knowledge from graph theory was used and improved to take the network topology and the network bandwidth between the computers into account. By using offline synchronization, changes will only be propagated when the user initiates it. This can be reasonable after a completed transaction which consists of changes on several files. Y1 - 2002 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-10071 ER - TY - THES A1 - Witte, Jochen T1 - Implementierung einer NFS Schnittstelle im Kontext eines Grid-Datenmanagement-Systems N2 - Diese Arbeit dokumentiert den Entwurf und die Implementierung einer NFS-Schnittstelle zum ZIBDMS. Das ZIBDMS, welches derzeit am Zuse-Institut Berlin entwickelt wird, ist ein Managementsystem für verteilte Daten in heterogenen Umgebungen [10]. Es soll die einfache Benutzung von Mechanismen zur Replikation sowie neue Möglichkeiten des Zugriffs und der Verwaltung von Metadaten und Datenobjekten ermöglichen. Dem Nutzer bietet das System verschiedene Sichten: Neben der klassischen, hierarchischen Sicht mit Verzeichnissen und Dateien wird auch eine attributbasierte Zugriffsmethode angeboten, in der Datenobjekte ausschließlich über Attribut/Wert-Paare referenziert werden. Für den Benutzer transparent, soll sich das System im Hinblick auf die Verfügbarkeit von Daten und Metadaten selbsttätig optimieren. Um Skalierbarkeit gew¨ahrleisten zu können, werden intern Peer-to-Peer- Techniken entwickelt und benutzt. Die NFS-Schnittstelle erhöht die Nutzbarkeit des Systems, da Client- Implementierungen für nahezu alle Betriebssysteme zur Verfügung stehen. Der Benutzer kann so über das gewohnte Dateisystem Daten und Metadaten pflegen, ohne spezifisches Vorwissen zu benötigen. In dieser Arbeit wird untersucht, inwiefern sich die Semantik des ZIBDMS auf jene des NFS-Protokolls übertragen läßt. Weiterhin wird das Konzept von Pseudodateien beschrieben und diskutiert, inwiefern es eine brauchbare Lösung darstellt, den im Vergleich zur NFS-Semantik wesentlich größeren Funktionsumfang des ZIBDMS für den Anwender nutzbar zu machen. Pseudodateien sind nicht-persistente Objekte, welche für den Benutzer als reguläre Datei sichtbar werden und die erweiterte Funktionalitäten wie die Bearbeitung von Metadaten oder die Platzierung von Replikaten über die Dateisystem-Sicht des NFS zur Verfügung stellen sollen. Schließlich werden Leistungsmessungen an den benutzten Komponenten des ZIBDMS vorgenommen und vergleichbaren Systemen gegen übergestellt. Die Aufmerksamkeit liegt hier auf der zugrundeliegenden Katalog-Technologie sowie dem durch das NFS-Protokoll verursachten Overhead. Y1 - 2005 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-10081 ER - TY - GEN A1 - Schütt, Thorsten A1 - Schintke, Florian A1 - Reinefeld, Alexander T1 - Chord#: Structured Overlay Network for Non-Uniform Load-Distribution N2 - \newcommand{\chordsharp}{Chord$^\##$} Data lookup is a fundamental problem in peer-to-peer systems: Given a key, find the node that stores the associated object. Chord and other P2P algorithms use distributed hash tables (DHTs) to distribute the keys and nodes evenly across a logical ring. Using an efficient routing strategy, DHTs provide a routing performance of $O (\log N)$ in networks of $N$ nodes. While the routing performance has been shown to be optimal, the uniform key distribution makes it impossible for DHTs to support range queries. For range queries, consecutive keys must be stored on lo gically neighboring nodes. In this paper, we present an enhancement of Chord that eliminates the hash function while keeping the same routing performance. The resulting algorithm, named \chordsharp{}, provides a richer function ality while maintaining the same complexity. In addition to Chord, \chordsharp{} adapts to load imbalance. T3 - ZIB-Report - 05-40 KW - DHT KW - P2P KW - Range Queries Y1 - 2005 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-8736 ER - TY - JOUR A1 - Salem, Farouk A1 - Schintke, Florian T1 - Load balancing mechanism for FLESnet JF - CBM Progress Report 2020 Y1 - 2021 U6 - https://doi.org/10.15120/GSI-2021-00421 SP - 156 EP - 157 ER -