TY - JOUR A1 - Peter, Kathrin T1 - Distributed Erasure Tolerant Storage with Solid State Technology JF - TCPP Ph.D. Forum, Int. Parallel and Distributed Processing Symposium Y1 - 2009 U6 - https://doi.org/10.1109/IPDPS.2009.5160863 SP - 23 PB - IEEE Computer Society CY - Los Alamitos, CA, USA ER - TY - CHAP A1 - Stender, Jan T1 - Efficient Management of Consistent Backups in a Distributed File System T2 - COMPSAC (1) Y1 - 2009 U6 - https://doi.org/10.1109/COMPSAC.2009.100 SP - 656 EP - 659 PB - IEEE Computer Society ER - TY - JOUR A1 - Hupfeld, Felix A1 - Kolbeck, Björn A1 - Stender, Jan A1 - Högqvist, Mikael A1 - Cortes, Toni A1 - Martí, Jonathan A1 - Malo, Jesus T1 - FaTLease: scalable fault-tolerant lease negotiation with Paxos JF - Cluster Computing Y1 - 2009 U6 - https://doi.org/10.1007/s10586-009-0074-2 VL - 12 IS - 2 SP - 175 EP - 188 ER - TY - CHAP A1 - Hupfeld, Felix A1 - Kolbeck, Björn A1 - Stender, Jan A1 - Högqvist, Mikael A1 - Cortes, Toni A1 - Martí, Jonathan A1 - Malo, Jesus T1 - FaTLease: Scalable Fault-Tolerant Lease Negotiation with Paxos T2 - ACM/IEEE International Symposium on High Performance Distributed Computing (HPDC) Y1 - 2008 CY - Boston, MA, USA ER - TY - CHAP A1 - Sobe, Peter A1 - Peter, Kathrin T1 - Combining Compression, Encryption and Fault-tolerant Coding for Distributed Storage T2 - 21th International Parallel and Distributed Processing Symposium (IPDPS 2007) Proceedings Y1 - 2007 SP - 1 EP - 8 PB - IEEE ER - TY - CHAP A1 - Hupfeld, Felix A1 - Cortes, Toni A1 - Kolbeck, Björn A1 - Stender, Jan A1 - Focht, Erich A1 - Hess, Matthias A1 - Malo, Jesus A1 - Marti, Jonathan A1 - Cesario, Eugenio T1 - XtreemFS: a case for object-based storage in Grid data management T2 - 3rd VLDB Workshop on Data Management in Grids, co-located with VLDB 2007 Y1 - 2007 ER - TY - CHAP A1 - Stender, Jan A1 - Kolbeck, Björn A1 - Hupfeld, Felix A1 - Cesario, Eugenio A1 - Focht, Erich A1 - Hess, Matthias A1 - Malo, Jesus A1 - Martí, Jonathan T1 - Striping without Sacrifices: Maintaining POSIX Semantics in a Parallel File System T2 - Proceedings of the 1st USENIX Workshop on Large-Scale Computing (LASCO’08) Y1 - 2008 CY - Boston, MA, USA ER - TY - JOUR A1 - Hupfeld, Felix A1 - Cortes, Toni A1 - Kolbeck, Björn A1 - Focht, Erich A1 - Hess, Matthias A1 - Malo, Jesus A1 - Marti, Jonathan A1 - Stender, Jan A1 - Cesario, Eugenio T1 - The XtreemFS architecture - A case for object-based file systems in Grids JF - Concurrency and Computation: Practice and Experience Y1 - 2008 VL - 20 IS - 8 ER - TY - CHAP A1 - Hupfeld, Felix T1 - Log-Structured Storage for Efficient Weakly-Connected Replication T2 - 24th International Conference on Distributed Computing Systems Workshops (ICDCS 2004 Workshops), 23-24 March 2004, Hachioji, Tokyo, Japan Y1 - 2004 U6 - https://doi.org/10.1109/ICDCSW.2004.1284072 SP - 458 EP - 463 PB - IEEE Computer Society ER - TY - CHAP A1 - Peter, Kathrin A1 - Sobe, Peter T1 - Flexible Definition of Data and Redundancy Layout for Storage Systems T2 - Sixth European Dependable Computing Conference (EDCC-6), Proceedings Supplemental Volume Y1 - 2006 SP - 59 EP - 60 ER - TY - CHAP A1 - Kleineweber, Christoph A1 - Reinefeld, Alexander A1 - Schütt, Thorsten T1 - QoS-aware Storage Virtualization for Cloud File Systems T2 - Proceedings of the 1st ACM International Workshop on Programmable File Systems Y1 - 2014 U6 - https://doi.org/10.1145/2603941.2603944 SP - 19 EP - 26 ER - TY - THES A1 - Lorenz, Christian T1 - Leistungsverbesserung der Datenübertragung bei der Replikation von nicht veränderlichen Dateien in einem verteilten Dateisystem Y1 - 2009 ER - TY - THES A1 - Langner, Felix T1 - Überlastungsschutz mit Anfragepriorisierung für das Internetdateisystem XtreemFS Y1 - 2012 ER - TY - THES A1 - Hupfeld, Felix T1 - Causal weak-consistency replication – a systems approach Y1 - 2009 U6 - http://nbn-resolving.de/urn/resolver.pl?nbn:de:kobv:11-100100235 UR - http://edoc.hu-berlin.de/docviews/abstract.php?id=29970 ER - TY - THES A1 - Berlin, Michael T1 - Popularitätsbasierte Anpassung des Replikationsfaktors in verteilten Dateisystemen T1 - Popularity-based Adjustment of the Replication Factor in Distributed File Systems N2 - Verteilte Dateisysteme erlauben es zusätzliche Replikate von Dateien anzulegen, um Client-Zugriffe auf mehrere Server zu verteilen. Bei einer einheitlichen Festlegung des Replikationsfaktors für alle Dateien wird der beschränkte verfügbare Speicherplatz jedoch nicht effizient genutzt, da es nur einen geringen Anteil von Dateien gibt, die häufig angefragt werden, während die restlichen Dateien unnötig Speicherplatz belegen. Der erste Teil dieser Arbeit beschreibt daher ein Verfahren den Replikationsfaktor einer Datei in Abhängigkeit ihrer Popularität festzulegen. Im Kontext des verteilten Dateisystems XtreemFS wurde dazu ein zentraler Dienst für die dynamische Replikation implementiert und mit einem Trace simuliert. Die Auswertung zeigt, dass die popularitätsbasierte Anpassung ein geeignetes Verfahren ist den Replikationsfaktor dynamisch festzulegen, da bei einer wöchentlichen Ermittlung der Popularität weniger als durchschnittlich 3,1% zusätzliche Replikate angelegt wurden. Da der Dienst selbst nicht mit einer beliebigen Anzahl von Dateien skaliert, muss er in mehrere Partitionen unterteilt und dezentral ausgeführt werden. Darum entwickelt der zweite Teil der Arbeit eine dezentrale Variante des Dienstes und zeigt, dass der Replikationsfaktor identisch zum zentralen Fall festgelegt werden kann. Nur im Fall eines Netzwerkausfalls oder nicht synchronisierter lokaler Uhren tritt eine Abweichung der Replikationsfaktoren auf, deren Ausmaß in der Simulation untersucht wurde. N2 - Distributed file systems allow the creation of additional file replicas in order to spread requests across several servers. However, setting a uniform number of replicas for every file would not utilize the available storage space in an efficient manner. As there are only few popular files, the majority of files would unnecessarily use up the limited space. Therefore the first part of this thesis presents a method to adjust the replication factor depending on the popularity of the files. This method was implemented as a central service for dynamic replication in the context of the distributed file system XtreemFS. The service was then simulated using a trace. A weekly observation of the popularity resulted in an average creation rate of 3.1% compared to all replicas. This shows that popularity-based adjustment is a feasible way to set the replication factor dynamically. As the service itself does not scale with the number of observed files, it needs to be partitioned and executed in a distributed manner. Therefore the second part of this thesis develops a distributed version of the service and shows that it determines replication factors equal to the result of the central version. However, the replication factor may vary if there is a network outage or a drift of the local clocks. The degree of variation was analyzed in simulations. Y1 - 2011 N1 - Thesis for the German Diplom degree (comparable to a Master degree) in Computer Science. ER - TY - CHAP A1 - Fajerski, J. A1 - Noack, Matthias A1 - Reinefeld, Alexander A1 - Schintke, Florian A1 - Schütt, Thorsten A1 - Steinke, Thomas T1 - Fast In-Memory Checkpointing with POSIX API for Legacy Exascale-Applications T2 - SPPEXA Symposium 2016 Y1 - 2016 U6 - https://doi.org/10.1007/978-3-319-40528-5_19 ER - TY - THES A1 - Bärhold, Robert T1 - Konzipierung und Implementierung eines Quota-Protokolls in objektbasierten Dateisystemen N2 - Verteilte Dateisysteme, wie sie unter anderem in Cloud-Umgebungen eingesetzt werden, werden häufig von verschiedenen Anwendern und Anwendungen zeitgleich verwendet. Da diese Ressourcen in Cloud-Umgebungen gemietet sind, muss sichergestellt werden, dass ein Kunde nur die Ressourcen verwenden kann, für die er bezahlt hat. Andernfalls könnten andere Kunden beeinträchtigt werden. Solch eine Obergrenze wird auch als Quota bezeichnet. Speziell für objektbasierte Dateisysteme, bei denen die Metadaten einer Datei von den Dateiinhalten getrennt gespeichert und verwaltet werden, erfordert die Forcierung einer Quota ein verteiltes Protokoll. Im Rahmen der vorliegenden Arbeit wurde ein Quota-Protokoll für objektbasierte Dateisysteme entwickelt und implementiert. Bei einer aktiven Quota wird zunächst ein Teil des Speicherplatzes für eine bestimmte Datei blockiert, der als Voucher bezeichnet wird. Anschließend wird dem Client die maximale Dateigröße in signierter Form zugewiesen. Sie ergibt sich aus der Summe der bisherigen Dateigröße und allen erstellten Vouchers. Durch diesen Ansatz können die Speicherserver bei jedem Zugriff lokal prüfen, ob der Schreibzugriff die maximale Dateigröße überschreiten würde. Reicht diese nicht aus, muss ein zusätzlicher Voucher erstellt werden, sofern noch Speicherplatz verfügbar ist. Nicht verbrauchter Speicherplatz wird am Ende wieder freigegeben. Zusätzlich unterstützt das Protokoll die Verteilung der Inhalte einer Datei auf mehrere Server (Striping) sowie Sparse-Dateien, bei denen beliebige Bereiche der Datei leer bleiben. Die Implementierung erfolgte im objektbasierten Dateisystem XtreemFS. Dabei wurden spezielle Funktionen von XtreemFS, wie die Dateireplikation, mit einbezogen. In einer abschließenden Evaluation wurde der Einfluss des implementierten Quota- Protokolls bezüglich der Performanz von XtreemFS untersucht. Dabei zeigte sich zunächst, dass bei einer aktiven Quota die Performanz beim Schreiben großer Daten- mengen abhängig von der eingestellten Voucher-Größe ist. Ist diese zu niedrig gewählt, so muss der Client seine maximale Dateigröße durch zusätzliche Anfragen beim Metada- tenserver erhöhen, was die Performanz negativ beeinträchtigt. Bei einer Voucher-Größe von 100 MiB wurde beim Schreiben einer 10 GiB-Datei ein Performanzverlust von unter 2% gemessen, verglichen mit dem Entwicklungsstand ohne implementiertes Quota- Protokoll. Bei der Erstellung mehrerer 64 KiB-Dateien wurde aufgrund zusätzlicher Nachrichten ein Verlust von rund 8% gemessen. KW - Quota KW - Protokoll KW - Verteiltes Dateisystem Y1 - 2016 ER -