@misc{Mauter2009, type = {Master Thesis}, author = {Mauter, Daniel}, title = {Ein eingebettetes Hauptspeicher-Datenbanksystem mit Snapshot-Reads}, url = {http://nbn-resolving.de/urn:nbn:de:0297-zib-11552}, school = {Zuse Institute Berlin (ZIB)}, year = {2009}, abstract = {Entwurf und Entwicklung eines eingebetteten Hauptspeicher-Datenbanksystems mit Snapshot-Reads.}, language = {de} } @misc{KolbeckHoegqvistStenderetal.2010, author = {Kolbeck, Bj{\"o}rn and H{\"o}gqvist, Mikael and Stender, Jan and Hupfeld, Felix}, title = {Fault-Tolerant and Decentralized Lease Coordination in Distributed Systems}, issn = {1438-0064}, url = {http://nbn-resolving.de/urn:nbn:de:0297-zib-11658}, number = {10-02}, year = {2010}, abstract = {Applications which need exclusive access to a shared resource in distributed systems require a fault-tolerant and scalable mechanism to coordinate this exclusive access. Examples of such applications include distributed file systems and master/slave data replication. We present Flease, an algorithm for decentralized and fault-tolerant lease coordination in distributed systems. Our algorithm allows the processes competing for a resource to coordinate exclusive access through leases among themselves without a central component. The resulting system easily scales with an increasing number of nodes and resources. We prove that Flease ensures exclusive access, i.e. guarantees that there is at most one valid lease at any time.}, language = {en} } @masterthesis{Dillmann2013, type = {Bachelor Thesis}, author = {Dillmann, Johannes}, title = {Konsistentes Hinzuf{\"u}gen und Entfernen von Replikaten in XtreemFS}, url = {http://nbn-resolving.de/urn:nbn:de:0297-zib-43109}, school = {Zuse Institute Berlin (ZIB)}, pages = {42}, year = {2013}, abstract = {In replizierten Systemen muss es m{\"o}glich sein ausgefallene Server zu ersetzen und Replikate dynamisch hinzuzuf{\"u}gen oder zu entfernen. Ver{\"a}nderungen an der Menge der eingesetzten Replikate k{\"o}nnen zu inkonsistenten Daten f{\"u}hren. In dieser Arbeit wird ein Algorithmus f{\"u}r das konsistente Hinzuf{\"u}gen und Entfernen von Replikaten f{\"u}r das verteilte Dateisystem XtreemFS vorgestellt. Der Algorithmus nutzt einen fehlertoleranten Service, der die Replikatliste speichert sowie Ver{\"a}nderungen koordiniert und diese aus globaler Sicht atomar ausf{\"u}hrt.}, language = {de} } @masterthesis{Kairies2013, type = {Bachelor Thesis}, author = {Kairies, Lukas}, title = {Leistungsanalyse von XtreemFS als Ersatz f{\"u}r HDFS in Hadoop}, url = {http://nbn-resolving.de/urn:nbn:de:0297-zib-43130}, school = {Zuse Institute Berlin (ZIB)}, pages = {46}, year = {2013}, abstract = {In dieser Arbeit wird die Leistungsf{\"a}higkeit des MapReduce-Framework Hadoop mit XtreemFS als verteiltes und POSIX-konformes Dateisystem bestimmt. Damit wird XtreemFS das f{\"u}r die Nutzung mit Hadoop entwickelte Dateisystem HDFS ersetzen. HDFS und XtreemFS werden verglichen und XtreemFS f{\"u}r Nutzung unter Hadoop konfiguriert. Zudem werden Optimierungen an der Hadoop-Schnittstelle von XtreemFS vorgenommen. Die Leistung von Hadoop mit XtreemFS wird mittels synthetischer Benchmarks und realer Hadoop Anwendungen gemessen und mit der Leistung von Hadoop mit HDFS verglichen.}, language = {de} } @inproceedings{SchmidtkeSchintkeSchuett2018, author = {Schmidtke, Robert and Schintke, Florian and Sch{\"u}tt, Thorsten}, title = {From Application to Disk: Tracing I/O Through the Big Data Stack}, booktitle = {High Performance Computing ISC High Performance 2018 International Workshops, Frankfurt/Main, Germany, June 24 - 28, 2018, Revised Selected Papers, Workshop on Performance and Scalability of Storage Systems (WOPSSS)}, doi = {10.1007/978-3-030-02465-9_6}, pages = {89 -- 102}, year = {2018}, abstract = {Typical applications in data science consume, process and produce large amounts of data, making disk I/O one of the dominating — and thus worthwhile optimizing — factors of their overall performance. Distributed processing frameworks, such as Hadoop, Flink and Spark, hide a lot of complexity from the programmer when they parallelize these applications across a compute cluster. This exacerbates reasoning about I/O of both the application and the framework, through the distributed file system, such as HDFS, down to the local file systems. We present SFS (Statistics File System), a modular framework to trace each I/O request issued by the application and any JVM-based big data framework involved, mapping these requests to actual disk I/O. This allows detection of inefficient I/O patterns, both by the applications and the underlying frameworks, and builds the basis for improving I/O scheduling in the big data software stack.}, language = {en} } @inproceedings{Peter2011, author = {Peter, Kathrin}, title = {Reliability Study of Coding Schemes for Wide-Area Distributed Storage Systems}, booktitle = {PDP 2011: The 19th Euromicro International Conference on Parallel, Distributed and Network-Based Computing}, publisher = {Euromicro}, doi = {10.1109/PDP.2011.70}, year = {2011}, language = {en} } @inproceedings{StenderKolbeckHoegqvistetal.2010, author = {Stender, Jan and Kolbeck, Bj{\"o}rn and H{\"o}gqvist, Mikael and Hupfeld, Felix}, title = {BabuDB: Fast and Efficient File System Metadata Storage}, booktitle = {Storage Network Architecture and Parallel I/Os, IEEE International Workshop on}, publisher = {IEEE Computer Society}, address = {Los Alamitos, CA, USA}, doi = {10.1109/SNAPI.2010.14}, pages = {51 -- 58}, year = {2010}, language = {en} } @article{KolbeckHoegqvistStenderetal.2011, author = {Kolbeck, Bj{\"o}rn and H{\"o}gqvist, Mikael and Stender, Jan and Hupfeld, Felix}, title = {Flease - Lease Coordination Without a Lock Server}, volume = {0}, journal = {Parallel and Distributed Processing Symposium, International}, publisher = {IEEE Computer Society}, address = {Los Alamitos, CA, USA}, doi = {10.1109/IPDPS.2011.94}, pages = {978 -- 988}, year = {2011}, language = {en} } @phdthesis{Kolbeck2012, author = {Kolbeck, Bj{\"o}rn}, title = {A fault-tolerant and scalable protocol for replication in distributed file systems}, year = {2012}, language = {en} } @inproceedings{PeterReinefeld2012, author = {Peter, Kathrin and Reinefeld, Alexander}, title = {Consistency and fault tolerance for erasure-coded distributed storage systems}, booktitle = {Proceedings of the fifth international workshop on Data-Intensive Distributed Computing Date}, publisher = {ACM}, address = {New York, NY, USA}, doi = {10.1145/2286996.2287002}, pages = {23 -- 32}, year = {2012}, language = {en} } @inproceedings{PeterSobe2012, author = {Peter, Kathrin and Sobe, Peter}, title = {Application of Regenerating Codes for Fault Tolerance in Distributed Storage Systems}, booktitle = {Network Computing and Applications (NCA), 2012 11th IEEE International Symposium on}, doi = {10.1109/NCA.2012.35}, pages = {67 -- 70}, year = {2012}, language = {en} } @incollection{StenderBerlinReinefeld2013, author = {Stender, Jan and Berlin, Michael and Reinefeld, Alexander}, title = {XtreemFS - a File System for the Cloud}, booktitle = {Data Intensive Storage Services for Cloud Environments}, editor = {Kyriazis, D. and Voulodimos, A. and Gogouvitis, S. and Varvarigou, Theodora A.}, publisher = {IGI Global}, doi = {10.4018/978-1-4666-3934-8}, year = {2013}, language = {en} } @phdthesis{Sobe2013, author = {Sobe, Kathrin}, title = {Consistency and Fault Tolerance of Distributed Storage Systems}, year = {2013}, language = {en} } @phdthesis{Stender2013, author = {Stender, Jan}, title = {Snapshots in Large-Scale Distributed File Systems}, year = {2013}, language = {en} } @article{Schintke2013, author = {Schintke, Florian}, title = {XtreemFS \& Scalaris}, journal = {Science \& Technology}, number = {6}, publisher = {Pan European Networks}, pages = {54 -- 55}, year = {2013}, language = {en} } @article{Berlin2013, author = {Berlin, Michael}, title = {Consistent and Partition-Tolerant File Replication in the Cloud File System Xtreem FS}, volume = {36}, journal = {Praxis der Informationsverarbeitung und Kommunikation}, number = {1}, doi = {10.1515/pik-2012-0144}, pages = {39}, year = {2013}, language = {en} } @misc{Dillmann2017, type = {Master Thesis}, author = {Dillmann, Johannes}, title = {Implementierung und Evaluation von Erasure Coding im verteilten Dateisystem XtreemFS}, year = {2017}, language = {de} } @misc{Lieser2016, type = {Master Thesis}, author = {Lieser, Philippe}, title = {Ende-zu-Ende Verschl{\"u}sselung in XtreemFS}, year = {2016}, language = {de} } @inproceedings{SteinkePeterBorchert2010, author = {Steinke, Thomas and Peter, Kathrin and Borchert, Sebastian}, title = {Efficiency Considerations of Cauchy Reed-Solomon Implementations on Accelerator and Multi-Core Platforms}, booktitle = {Symposium on Application Accelerators in High Performance Computing (SAAHPC)}, address = {Knoxville, USA}, year = {2010}, language = {en} } @inproceedings{StenderHoegqvistKolbeck2010, author = {Stender, Jan and H{\"o}gqvist, Mikael and Kolbeck, Bj{\"o}rn}, title = {Loosely Time-Synchronized Snapshots in Object-Based File Systems}, booktitle = {Proceedings of the 29th IEEE International Performance, Computing, and Communications Conference}, publisher = {IEEE Computer Society}, doi = {10.1109/PCCC.2010.5682311}, year = {2010}, language = {en} } @inproceedings{SobePeter2008, author = {Sobe, Peter and Peter, Kathrin}, title = {Flexible Parameterization of XOR based Codes for Distributed Storage}, booktitle = {Proceedings of The Seventh IEEE International Symposium on Networking Computing and Applications, NCA 2008, July 10-12, 2008, Cambridge, Massachusetts, USA}, publisher = {IEEE Computer Society}, doi = {10.1109/NCA.2008.45}, pages = {101 -- 110}, year = {2008}, language = {en} } @article{Kolbeck2009, author = {Kolbeck, Bj{\"o}rn}, title = {A Protocol for Efficient and Fault-tolerant File Replication over Wide-Area Networks}, volume = {0}, journal = {TCPP Ph.D. Forum, Int. Parallel and Distributed Processing Symposium}, publisher = {IEEE Computer Society}, address = {Los Alamitos, CA, USA}, doi = {10.1109/IPDPS.2009.5160863}, pages = {19}, year = {2009}, language = {en} } @article{Peter2009, author = {Peter, Kathrin}, title = {Distributed Erasure Tolerant Storage with Solid State Technology}, journal = {TCPP Ph.D. Forum, Int. Parallel and Distributed Processing Symposium}, publisher = {IEEE Computer Society}, address = {Los Alamitos, CA, USA}, doi = {10.1109/IPDPS.2009.5160863}, pages = {23}, year = {2009}, language = {en} } @inproceedings{Stender2009, author = {Stender, Jan}, title = {Efficient Management of Consistent Backups in a Distributed File System}, booktitle = {COMPSAC (1)}, publisher = {IEEE Computer Society}, doi = {10.1109/COMPSAC.2009.100}, pages = {656 -- 659}, year = {2009}, language = {en} } @article{HupfeldKolbeckStenderetal.2009, author = {Hupfeld, Felix and Kolbeck, Bj{\"o}rn and Stender, Jan and H{\"o}gqvist, Mikael and Cortes, Toni and Mart{\´i}, Jonathan and Malo, Jesus}, title = {FaTLease: scalable fault-tolerant lease negotiation with Paxos}, volume = {12}, journal = {Cluster Computing}, number = {2}, doi = {10.1007/s10586-009-0074-2}, pages = {175 -- 188}, year = {2009}, language = {en} } @inproceedings{HupfeldKolbeckStenderetal.2008, author = {Hupfeld, Felix and Kolbeck, Bj{\"o}rn and Stender, Jan and H{\"o}gqvist, Mikael and Cortes, Toni and Mart{\´i}, Jonathan and Malo, Jesus}, title = {FaTLease: Scalable Fault-Tolerant Lease Negotiation with Paxos}, booktitle = {ACM/IEEE International Symposium on High Performance Distributed Computing (HPDC)}, address = {Boston, MA, USA}, year = {2008}, language = {en} } @inproceedings{SobePeter2007, author = {Sobe, Peter and Peter, Kathrin}, title = {Combining Compression, Encryption and Fault-tolerant Coding for Distributed Storage}, booktitle = {21th International Parallel and Distributed Processing Symposium (IPDPS 2007) Proceedings}, publisher = {IEEE}, pages = {1 -- 8}, year = {2007}, language = {en} } @inproceedings{HupfeldCortesKolbecketal.2007, author = {Hupfeld, Felix and Cortes, Toni and Kolbeck, Bj{\"o}rn and Stender, Jan and Focht, Erich and Hess, Matthias and Malo, Jesus and Marti, Jonathan and Cesario, Eugenio}, title = {XtreemFS: a case for object-based storage in Grid data management}, booktitle = {3rd VLDB Workshop on Data Management in Grids, co-located with VLDB 2007}, year = {2007}, language = {en} } @inproceedings{StenderKolbeckHupfeldetal.2008, author = {Stender, Jan and Kolbeck, Bj{\"o}rn and Hupfeld, Felix and Cesario, Eugenio and Focht, Erich and Hess, Matthias and Malo, Jesus and Mart{\´i}, Jonathan}, title = {Striping without Sacrifices: Maintaining POSIX Semantics in a Parallel File System}, booktitle = {Proceedings of the 1st USENIX Workshop on Large-Scale Computing (LASCO'08)}, address = {Boston, MA, USA}, year = {2008}, language = {en} } @article{HupfeldCortesKolbecketal.2008, author = {Hupfeld, Felix and Cortes, Toni and Kolbeck, Bj{\"o}rn and Focht, Erich and Hess, Matthias and Malo, Jesus and Marti, Jonathan and Stender, Jan and Cesario, Eugenio}, title = {The XtreemFS architecture - A case for object-based file systems in Grids}, volume = {20}, journal = {Concurrency and Computation: Practice and Experience}, number = {8}, year = {2008}, language = {en} } @inproceedings{Hupfeld2004, author = {Hupfeld, Felix}, title = {Log-Structured Storage for Efficient Weakly-Connected Replication}, booktitle = {24th International Conference on Distributed Computing Systems Workshops (ICDCS 2004 Workshops), 23-24 March 2004, Hachioji, Tokyo, Japan}, publisher = {IEEE Computer Society}, doi = {10.1109/ICDCSW.2004.1284072}, pages = {458 -- 463}, year = {2004}, language = {en} } @inproceedings{PeterSobe2006, author = {Peter, Kathrin and Sobe, Peter}, title = {Flexible Definition of Data and Redundancy Layout for Storage Systems}, booktitle = {Sixth European Dependable Computing Conference (EDCC-6), Proceedings Supplemental Volume}, pages = {59 -- 60}, year = {2006}, language = {en} } @inproceedings{KleineweberReinefeldSchuett2014, author = {Kleineweber, Christoph and Reinefeld, Alexander and Sch{\"u}tt, Thorsten}, title = {QoS-aware Storage Virtualization for Cloud File Systems}, booktitle = {Proceedings of the 1st ACM International Workshop on Programmable File Systems}, doi = {10.1145/2603941.2603944}, pages = {19 -- 26}, year = {2014}, language = {en} } @misc{Lorenz2009, type = {Master Thesis}, author = {Lorenz, Christian}, title = {Leistungsverbesserung der Daten{\"u}bertragung bei der Replikation von nicht ver{\"a}nderlichen Dateien in einem verteilten Dateisystem}, year = {2009}, language = {de} } @misc{Langner2012, type = {Master Thesis}, author = {Langner, Felix}, title = {{\"U}berlastungsschutz mit Anfragepriorisierung f{\"u}r das Internetdateisystem XtreemFS}, year = {2012}, language = {de} } @phdthesis{Hupfeld2009, author = {Hupfeld, Felix}, title = {Causal weak-consistency replication - a systems approach}, url = {http://nbn-resolving.de/nbn:de:kobv:11-100100235}, year = {2009}, language = {en} } @misc{Berlin2011, type = {Master Thesis}, author = {Berlin, Michael}, title = {Popularit{\"a}tsbasierte Anpassung des Replikationsfaktors in verteilten Dateisystemen}, school = {Humboldt-Universit{\"a}t zu Berlin}, year = {2011}, abstract = {Verteilte Dateisysteme erlauben es zus{\"a}tzliche Replikate von Dateien anzulegen, um Client-Zugriffe auf mehrere Server zu verteilen. Bei einer einheitlichen Festlegung des Replikationsfaktors f{\"u}r alle Dateien wird der beschr{\"a}nkte verf{\"u}gbare Speicherplatz jedoch nicht effizient genutzt, da es nur einen geringen Anteil von Dateien gibt, die h{\"a}ufig angefragt werden, w{\"a}hrend die restlichen Dateien unn{\"o}tig Speicherplatz belegen. Der erste Teil dieser Arbeit beschreibt daher ein Verfahren den Replikationsfaktor einer Datei in Abh{\"a}ngigkeit ihrer Popularit{\"a}t festzulegen. Im Kontext des verteilten Dateisystems XtreemFS wurde dazu ein zentraler Dienst f{\"u}r die dynamische Replikation implementiert und mit einem Trace simuliert. Die Auswertung zeigt, dass die popularit{\"a}tsbasierte Anpassung ein geeignetes Verfahren ist den Replikationsfaktor dynamisch festzulegen, da bei einer w{\"o}chentlichen Ermittlung der Popularit{\"a}t weniger als durchschnittlich 3,1\% zus{\"a}tzliche Replikate angelegt wurden. Da der Dienst selbst nicht mit einer beliebigen Anzahl von Dateien skaliert, muss er in mehrere Partitionen unterteilt und dezentral ausgef{\"u}hrt werden. Darum entwickelt der zweite Teil der Arbeit eine dezentrale Variante des Dienstes und zeigt, dass der Replikationsfaktor identisch zum zentralen Fall festgelegt werden kann. Nur im Fall eines Netzwerkausfalls oder nicht synchronisierter lokaler Uhren tritt eine Abweichung der Replikationsfaktoren auf, deren Ausmaß in der Simulation untersucht wurde.}, language = {de} } @inproceedings{FajerskiNoackReinefeldetal.2016, author = {Fajerski, J. and Noack, Matthias and Reinefeld, Alexander and Schintke, Florian and Sch{\"u}tt, Thorsten and Steinke, Thomas}, title = {Fast In-Memory Checkpointing with POSIX API for Legacy Exascale-Applications}, booktitle = {SPPEXA Symposium 2016}, doi = {10.1007/978-3-319-40528-5_19}, year = {2016}, language = {en} } @misc{Baerhold2016, type = {Master Thesis}, author = {B{\"a}rhold, Robert}, title = {Konzipierung und Implementierung eines Quota-Protokolls in objektbasierten Dateisystemen}, pages = {83}, year = {2016}, abstract = {Verteilte Dateisysteme, wie sie unter anderem in Cloud-Umgebungen eingesetzt werden, werden h{\"a}ufig von verschiedenen Anwendern und Anwendungen zeitgleich verwendet. Da diese Ressourcen in Cloud-Umgebungen gemietet sind, muss sichergestellt werden, dass ein Kunde nur die Ressourcen verwenden kann, f{\"u}r die er bezahlt hat. Andernfalls k{\"o}nnten andere Kunden beeintr{\"a}chtigt werden. Solch eine Obergrenze wird auch als Quota bezeichnet. Speziell f{\"u}r objektbasierte Dateisysteme, bei denen die Metadaten einer Datei von den Dateiinhalten getrennt gespeichert und verwaltet werden, erfordert die Forcierung einer Quota ein verteiltes Protokoll. Im Rahmen der vorliegenden Arbeit wurde ein Quota-Protokoll f{\"u}r objektbasierte Dateisysteme entwickelt und implementiert. Bei einer aktiven Quota wird zun{\"a}chst ein Teil des Speicherplatzes f{\"u}r eine bestimmte Datei blockiert, der als Voucher bezeichnet wird. Anschließend wird dem Client die maximale Dateigr{\"o}ße in signierter Form zugewiesen. Sie ergibt sich aus der Summe der bisherigen Dateigr{\"o}ße und allen erstellten Vouchers. Durch diesen Ansatz k{\"o}nnen die Speicherserver bei jedem Zugriff lokal pr{\"u}fen, ob der Schreibzugriff die maximale Dateigr{\"o}ße {\"u}berschreiten w{\"u}rde. Reicht diese nicht aus, muss ein zus{\"a}tzlicher Voucher erstellt werden, sofern noch Speicherplatz verf{\"u}gbar ist. Nicht verbrauchter Speicherplatz wird am Ende wieder freigegeben. Zus{\"a}tzlich unterst{\"u}tzt das Protokoll die Verteilung der Inhalte einer Datei auf mehrere Server (Striping) sowie Sparse-Dateien, bei denen beliebige Bereiche der Datei leer bleiben. Die Implementierung erfolgte im objektbasierten Dateisystem XtreemFS. Dabei wurden spezielle Funktionen von XtreemFS, wie die Dateireplikation, mit einbezogen. In einer abschließenden Evaluation wurde der Einfluss des implementierten Quota- Protokolls bez{\"u}glich der Performanz von XtreemFS untersucht. Dabei zeigte sich zun{\"a}chst, dass bei einer aktiven Quota die Performanz beim Schreiben großer Daten- mengen abh{\"a}ngig von der eingestellten Voucher-Gr{\"o}ße ist. Ist diese zu niedrig gew{\"a}hlt, so muss der Client seine maximale Dateigr{\"o}ße durch zus{\"a}tzliche Anfragen beim Metada- tenserver erh{\"o}hen, was die Performanz negativ beeintr{\"a}chtigt. Bei einer Voucher-Gr{\"o}ße von 100 MiB wurde beim Schreiben einer 10 GiB-Datei ein Performanzverlust von unter 2\% gemessen, verglichen mit dem Entwicklungsstand ohne implementiertes Quota- Protokoll. Bei der Erstellung mehrerer 64 KiB-Dateien wurde aufgrund zus{\"a}tzlicher Nachrichten ein Verlust von rund 8\% gemessen.}, language = {de} }