TY - CHAP A1 - Fajerski, J. A1 - Noack, Matthias A1 - Reinefeld, Alexander A1 - Schintke, Florian A1 - Schütt, Thorsten A1 - Steinke, Thomas T1 - Fast In-Memory Checkpointing with POSIX API for Legacy Exascale-Applications T2 - SPPEXA Symposium 2016 Y1 - 2016 U6 - https://doi.org/10.1007/978-3-319-40528-5_19 ER - TY - THES A1 - Bärhold, Robert T1 - Konzipierung und Implementierung eines Quota-Protokolls in objektbasierten Dateisystemen N2 - Verteilte Dateisysteme, wie sie unter anderem in Cloud-Umgebungen eingesetzt werden, werden häufig von verschiedenen Anwendern und Anwendungen zeitgleich verwendet. Da diese Ressourcen in Cloud-Umgebungen gemietet sind, muss sichergestellt werden, dass ein Kunde nur die Ressourcen verwenden kann, für die er bezahlt hat. Andernfalls könnten andere Kunden beeinträchtigt werden. Solch eine Obergrenze wird auch als Quota bezeichnet. Speziell für objektbasierte Dateisysteme, bei denen die Metadaten einer Datei von den Dateiinhalten getrennt gespeichert und verwaltet werden, erfordert die Forcierung einer Quota ein verteiltes Protokoll. Im Rahmen der vorliegenden Arbeit wurde ein Quota-Protokoll für objektbasierte Dateisysteme entwickelt und implementiert. Bei einer aktiven Quota wird zunächst ein Teil des Speicherplatzes für eine bestimmte Datei blockiert, der als Voucher bezeichnet wird. Anschließend wird dem Client die maximale Dateigröße in signierter Form zugewiesen. Sie ergibt sich aus der Summe der bisherigen Dateigröße und allen erstellten Vouchers. Durch diesen Ansatz können die Speicherserver bei jedem Zugriff lokal prüfen, ob der Schreibzugriff die maximale Dateigröße überschreiten würde. Reicht diese nicht aus, muss ein zusätzlicher Voucher erstellt werden, sofern noch Speicherplatz verfügbar ist. Nicht verbrauchter Speicherplatz wird am Ende wieder freigegeben. Zusätzlich unterstützt das Protokoll die Verteilung der Inhalte einer Datei auf mehrere Server (Striping) sowie Sparse-Dateien, bei denen beliebige Bereiche der Datei leer bleiben. Die Implementierung erfolgte im objektbasierten Dateisystem XtreemFS. Dabei wurden spezielle Funktionen von XtreemFS, wie die Dateireplikation, mit einbezogen. In einer abschließenden Evaluation wurde der Einfluss des implementierten Quota- Protokolls bezüglich der Performanz von XtreemFS untersucht. Dabei zeigte sich zunächst, dass bei einer aktiven Quota die Performanz beim Schreiben großer Daten- mengen abhängig von der eingestellten Voucher-Größe ist. Ist diese zu niedrig gewählt, so muss der Client seine maximale Dateigröße durch zusätzliche Anfragen beim Metada- tenserver erhöhen, was die Performanz negativ beeinträchtigt. Bei einer Voucher-Größe von 100 MiB wurde beim Schreiben einer 10 GiB-Datei ein Performanzverlust von unter 2% gemessen, verglichen mit dem Entwicklungsstand ohne implementiertes Quota- Protokoll. Bei der Erstellung mehrerer 64 KiB-Dateien wurde aufgrund zusätzlicher Nachrichten ein Verlust von rund 8% gemessen. KW - Quota KW - Protokoll KW - Verteiltes Dateisystem Y1 - 2016 ER - TY - GEN A1 - Clausecker, Robert T1 - Notes on the Construction of Pattern Databases N2 - This report aims to explain and extend pattern databases as a tool in finding optimal solutions to combination puzzles. Using sliding tile puzzles as an example, an overview over techniques to construct and use pattern databases is given, analysed, and extended. As novel results, zero aware additive pattern databases and PDB catalogues are introduced. This report originally appeared as a bachelor thesis at Humboldt University of Berlin under the title Notes on the Construction of Tablebases. T3 - ZIB-Report - 17-59 KW - pattern-database 15-puzzle 24-puzzle ida* heuristic-search pdb-catalogue zpdb Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-65586 SN - 1438-0064 ER - TY - GEN A1 - Skrzypczak, Jan T1 - Weakening Paxos Consensus Sequences for Commutative Commands N2 - Consensus (agreement on a value) is regarded as a fundamental primitive in the design of fault tolerant distributed systems. A well-known solution to the consensus problem is Paxos. Extensions of the Paxos algorithm make it possible to reach agreement on a sequence of commands which can then be applied on a replicated state. However, concurrently proposed commands can create conflicts that must be resolved by ordering them. This thesis delivers an in-depth description of a Paxos-based algorithm to establish such command sequences, called Paxos Round Based Register (PRBR). In contrast to conventional approaches like Multi-Paxos, PRBR can manage multiple command sequences independently. Furthermore, each sequence is established in-place, which eliminates the need for managing multiple Paxos instances. PRBR is extended as part of this thesis to exploit the commutativity of concurrently proposed commands. As a result, conflict potential can be greatly reduced which increases the number of commands that can be handled by PRBR. This is shown for a number of workloads in an experimental evaluation. T3 - ZIB-Report - 17-64 KW - Consensus KW - Paxos Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-65741 SN - 1438-0064 ER - TY - THES A1 - Skrzypczak, Jan T1 - Weakening Paxos Consensus Sequences for Commutative Commands N2 - Consensus (agreement on a value) is regarded as a fundamental primitive in the design of fault tolerant distributed systems. A well-known solution to the consensus problem is Paxos. Extensions of the Paxos algorithm make it possible to reach agreement on a sequence of commands which can then be applied on a replicated state. However, concurrently proposed commands can create conflicts that must be resolved by ordering them. This thesis delivers an in-depth description of a Paxos-based algorithm to establish such command sequences, called Paxos Round Based Register (PRBR). In contrast to conventional approaches like Multi-Paxos, PRBR can manage multiple command sequences independently. Furthermore, each sequence is established in-place, which eliminates the need for managing multiple Paxos instances. PRBR is extended as part of this thesis to exploit the commutativity of concurrently proposed commands. As a result, conflict potential can be greatly reduced which increases the number of commands that can be handled by PRBR. This is shown for a number of workloads in an experimental evaluation. KW - Paxos KW - Consensus Y1 - 2017 ER - TY - CHAP A1 - Noack, Matthias T1 - OpenCL in Scientific High Performance Computing: The Good, the Bad, and the Ugly T2 - Proceedings of the 5th International Workshop on OpenCL N2 - For writing a new scientific application, portability across existing and future hardware should be the major design goal, as there is a multitude of different compute devices, and programme codes typically outlive systems by far. Unlike other programming models that address parallelism or heterogeneity, OpenCL does provide practical portability across a wide range of HPC-relevant architectures. Other than that, it has a range of further advantages like being a library-only implementation, and using runtime kernel-compilation. We present experiences with utilising OpenCL alongside C++, MPI, and CMake in two real-world scientific codes. Our targets are a Cray XC40 supercomputer with multi- and many-core (Xeon Phi) CPUs, as well as multiple smaller systems with Nvidia and AMD GPUs. We shed light on practical issues arising in such a scenario, like the interaction between OpenCL and MPI, discuss solutions, and point out current limitations of OpenCL in the domain of scientific HPC from an application developer's and user's point of view. Y1 - 2017 U6 - https://doi.org/10.1145/3078155.3078170 SP - 12:1 EP - 12:3 ER - TY - GEN A1 - Kramer, Tobias A1 - Noack, Matthias A1 - Baum, Daniel A1 - Hege, Hans-Christian A1 - Heller, Eric J. T1 - Dust and gas emission from cometary nuclei: the case of comet 67P/Churyumov-Gerasimenko N2 - Comets display with decreasing solar distance an increased emission of gas and dust particles, leading to the formation of the coma and tail. Spacecraft missions provide insight in the temporal and spatial variations of the dust and gas sources located on the cometary nucleus. For the case of comet 67P/Churyumov-Gerasimenko (67P/C-G), the long-term obser- vations from the Rosetta mission point to a homogeneous dust emission across the entire illuminated surface. Despite the homogeneous initial dis- tribution, a collimation in jet-like structures becomes visible. We propose that this observation is linked directly to the complex shape of the nucleus and projects concave topographical features into the dust coma. To test this hypothesis, we put forward a gas-dust description of 67P/C-G, where gravitational and gas forces are accurately determined from the surface mesh and the rotation of the nucleus is fully incorporated. The emerging jet-like structures persist for a wide range of gas-dust interactions and show a dust velocity dependent bending. T3 - ZIB-Report - 17-78 Y1 - 2017 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-66338 SN - 1438-0064 ER - TY - GEN A1 - Reinefeld, Alexander A1 - Stüben, Hinnerk A1 - Schintke, Florian A1 - Din, George T1 - GuiGen: A Toolset for Creating Customized Interfaces for Grid User Communities N2 - \textsf{\itshape{GuiGen}} is a comprehensive set of tools for creating customized graphical user interfaces (GUIs). It draws from the concept of computing portals, which are here seen as interfaces to application-specific computing services for user communities. While \textsf{\itshape{GuiGen}} was originally designed for the use in computational grids, it can be used in client/server environments as well. Compared to other GUI generators, \textsf{\itshape{GuiGen}} is more versatile and more portable. It can be employed in many different application domains and on different target platforms. With \textsf{\itshape{GuiGen}}, application experts (rather than computer scientists) are able to create their own individually tailored GUIs. T3 - ZIB-Report - 02-06 KW - Grid computing KW - customized user interfaces KW - grid user communities KW - web portals KW - XML Y1 - 2002 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-6737 ER - TY - GEN A1 - Busch, Hubert A1 - Droebes, Ursula A1 - Fröhlich, Marek A1 - Schimmel, Christian T1 - Das Berliner Wissenschaftsnetz BRAIN 2007 T1 - Berlin Research Area Information Network BRAIN 2007 N2 - Berlin als Stadtstaat ist Kommune und Land der Bundesrepublik zugleich und Standort vieler renommier-ter Wissenschafts- und Kultureinrichtungen. In enger Zusammenarbeit der Wissenschaftseinrichtungen mit dem IT-Dienstleistungszentrum Berlin (ITDZ, ehemals Landesbetrieb für Informationstechnik), der für die Behörden Berlins zuständigen Einrichtung, wurde seit 1993 ein landeseigenes Glasfasernetz mit einer derzeitigen Länge von 856 km Glasfaserkabel (je Kabel bis zu 144 Einzelfasern) zur gemeinsamen Nutzung von Wissenschaft und Verwaltung errichtet und weiter ausgebaut. 1994 erfolgte der offizielle Start des Berliner Wissenschaftsnetzes BRAIN (Berlin Research Area Information Network), als durch einen Beschluss des Senats von Berlin die Nutzung des landeseigenen Glasfasernetzes durch die Wissen-schaftseinrichtungen festgeschrieben wurde. Bereits 1995 wurden durch die Wissenschaftseinrichtungen auf diesem Glasfasernetz die ersten sieben Anschlüsse in ATM-Technik (Classical BRAIN-ATM) in Betrieb genommen, 1999 wurden anschließend auch erste Strecken in Ethernet-Technik (Classical BRAIN-GE) betrieben. Diese heterogenen Netze mit unterschiedlichen Netzgeräten wurden dezentral von den Netzadministratoren der beteiligten Einrichtungen nach globalen Absprachen betreut. Die dezentrale Administration erschwerte das Management und die Erweiterungen der Gesamtnetze. Basierend auf den vorliegenden Erfahrungen vereinbarten die Berliner Wissenschaftseinrichtungen, ein technisch neues Verbundnetz in Gigabit-Ethernet-Technik mit einheitlichen Geräten und einem zentralen Netzwerkmana-gement aufzubauen und zu betreiben. Seit November 2003 betreibt BRAIN auf dem landeseignen Glasfasernetz ein auf MPLS-Technik basie-rendes Gigabit-Ethernet-Netz, das „BRAIN-Verbundnetz“, mit den Diensten LAN-to-LAN-Kopplung der Einrichtungen, regionaler IP-Verkehr, Übergang zum Verwaltungsnetz und WiN-Backup. Das BRAIN-Verbundnetz löste die dezentral betreuten Vorläufernetze komplett ab. Von den derzeit 27 BRAIN-Teilnehmern nutzen 24 Einrichtungen an 53 in der Stadt verteilten Standorten die Dienste des BRAIN-Verbundnetzes, 18 Standorte sind mit 1000 Mbit/s und 35 Standorte mit 100 Mbit/s angeschlossen. Für verteilte Standorte einer Einrichtung besteht zudem die Möglichkeit, diese über dedizierte Fasern oder Bandbreiten miteinander zu vernetzen. Seit dem 2. Quartal 2007 wird im Rahmen eines Pilotprojekts der Nutzen eines zentral gemanagten Fibre Channel-Netzwerks "BRAIN-SAN" ermittelt, um Möglichkeiten einer verteilten Datenhaltung der Berliner Hochschulen und wissenschaftlichen Einrichtungen zu schaf-fen. Zusätzlich zu den vorgenannten Diensten nutzt der DFN-Verein die BRAIN-Struktur für die Verbindun-gen der X-WiN-Kernnetzknoten in Berlin und Potsdam untereinander und für Zugangsleitungen zu den Anwendern. Mit Stand 2007 nutzt das Berliner Wissenschaftsnetz BRAIN vom landeigenen Glasfasernetz 2100 km Einzelfasern und verbindet insgesamt 43 Einrichtungen (BRAIN-Teilnehmer und DFN-Anwender) aus Wissenschaft, Bildung und Kultur mit 129 Standorten. Der Betrieb von BRAIN wird im wesentlichen durch seine Nutzer finanziert. Das Land Berlin trägt aller-dings pauschal die überwiegenden Kosten für die Wartung des Glasfasernetzes, soweit es vom ITDZ be-reit gestellt wird. Zentrales Planungs- und Steuerungsorgan für BRAIN ist die von der Senatsverwaltung für Bildung, Wis-senschaft und Forschung eingerichtete BRAIN-Planungsgruppe. Sie besteht aus Mitarbeitern der Rechen-zentren der drei Berliner Universitäten und des ZIB. Nach außen wird BRAIN in rechtlicher und wirtschaftlicher Hinsicht treuhänderisch vom ZIB vertreten, die BRAIN-Geschäftsstelle befindet sich ebenfalls im ZIB. N2 - Berlin as a city state is both local authority and federal state of the Federal Republic, as well as a location of many renowned institutions of research and culture. In close cooperation of the institutions of research with the IT service centre Berlin (ITDZ, the former Landesbetrieb für Informationstechnik) - which is the appropriate facility for the authorities of Berlin - a glass fibre network of a total extension of 856 kilome-tres of fibre optics (144 fibres each cable optic) for the common use of research and administration has been established and advanced since 1993. In 1994, when a resolution of the Senate of Berlin laid down the use of the appropriate fibre networks by the research facilities, this was the official beginning of the Berlin Research Area Information Network (BRAIN). The first seven interfaces in this fibre network in ATM technology (Classical BRAIN-ATM) were already established by the research facilities in 1995. In 1999, first systems run in Ethernet technology (Classical BRAIN-GE). These heterogeneous networks with different interfaces have been supported locally by the network administrators of the research facili-ties following global agreements. Management and advancement of the overall networks were encum-bered by these local administrations. Based on the existing experience, Berlin's research facilities agreed on the building and advancement of a technically new integrated network in gigabit Ethernet technology with standardised facilities and a centrally managed network. Since November 2003 the Berlin Research Area Information Network established a Gigabit Ethernet - called “BRAIN Integrated Network” - based on MPLS technology, including LAN to LAN linking of the facilities, local IP traffic, interface to the administration's network and WIN back-up. This BRAIN Inte-grated Network has completely replaced the locally administered predecessor networks. 24 of 27 BRAIN participants use the services of the BRAIN Integrated Network on 53 locations spread all over the city. 18 locations are connected with 1000 Mbit/s and 35 locations with 100 Mbit/s. Moreover, spread locations of a single facility have the possibililty to communicate by dedicated fibres or bandwidths. From the 2nd quarter 2007 within the scope of a pilot scheme, the advantage of a centrally administered fibre channel network "BRAIN-SAN" will be determined in order to accomplish possibilities of a spread data manage-ment of Berlin's universities and research facilities. In addition to the aforementioned services the DFN association makes use of BRAIN's structure for the connection of the X-WiN-core network nodes in Berlin and Potsdam und for access pathways to the us-ers. As from 2007, Berlin's research network BRAIN uses 2100 kilometres of single fibres from the country's fibre glass network and connects a total of 43 facilities (BRAIN participants and DFN users) from re-search, education and culture with 129 locations. The operations of BRAIN are funded basically by its users. However, the country of Berlin bears most of the costs for the maintenance of the glass fibre network, as far as it is provided by ITDZ. Central planning and steering body for BRAIN is the BRAIN planning group, which has been arranged by the administration of the Senatsverwaltung für Bildung, Wissenschaft und Forschung. It consists of staff from the computing centres of Berlin's three universities and of ZIB. BRAIN is represented legally and economically on a trust basis by the ZIB, where the BRAIN office is located also. T3 - ZIB-Report - 07-42 KW - Wissenschaftsnetz KW - Glasfasernetz KW - LAN-to-LAN-Kopplung KW - IP-Verkehr KW - Research Netzwork KW - Fibre Network KW - LAN to LAN linking KW - IP traffic Y1 - 2007 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-10458 SN - 1438-0064 ER - TY - GEN A1 - Plantikow, Stefan T1 - Transaktionen für verteilte Wikis auf strukturierten Overlay-Netzwerken T1 - Transactions for Distributed Wikis on Structured Overlay Networks N2 - Die Arbeit präsentiert ein Transaktionsverfahren für strukturierte Overlay-Netzwerke, das an die Erfordernisse verteilter Informationssysteme mit relationalem Datenmodell angepasst ist. Insbesondere wird der Einsatz von Transaktionen für verteilte Wikis betrachtet, die moderne Funktionalitäten, wie Metadaten und zusätzliche Indexe für die Navigation, unterstützen. Konsistenz und Dauerhaftigkeit der gespeicherten Daten erfordert die Behandlung von Knotenausfällen. Die Arbeit schlägt dafür das Zellenmodell vor: Das Overlay wird aus replizierten Zustandsmaschinen gebildet, um Verfügbarkeit zu gewährleisten. Das Transaktionsverfahren baut darauf auf und verwendet Two-Phase-Commit mit Fehlererkennung und Widerherstellung von ausgefallenen Transaktionsmanagern. Anwendungen wird eine Auswahl an pessimistischen und hybrid-optimistischen Nebenläufigkeitskontrollverfahren geboten, die die Minimierung von Latenzeffekten und die schnelle Ausführung von Nur-Lese-Transaktionen ermöglichen. Für die Beispielanwendung Wiki wird der erforderliche Pseudocode angegeben und die verschiedenen Nebenläufigkeitskontrollverfahren hinsichtlich ihrer Nachrichtenkomplexität verglichen. N2 - The report presents a transaction processing scheme for structured overlay networks and uses it to develop a distributed Wiki application based on a relational data model. The Wiki supports rich metadata and additional indexes for navigation purposes. Ensuring consistency and durability requires handling of node failures. Such failures are masked by providing high availability of nodes. This in turn is achieved by constructing the overlay from replicated state machines (cell model). Atomicity is realized using two phase commit with additional support for failure detection and restoration of the transaction manager. The developed transaction processing scheme provides the application with a mixture of pessimistic, hybrid optimistic and multiversioning concurrency control techniques to minimize the impact of replication on latency and optimize for read operations. The pseudocode of the relevant Wiki functions is presented and the different concurrency control techniques are evaluated in terms of message complexit T3 - ZIB-Report - 07-43 KW - Verteilte Transaktionen KW - Strukturierte Overlay-Netzwerke KW - Peer-to-Peer KW - Wikis KW - Nebenläufigkeitskontrolle KW - distributed transactions KW - structured overlay networks KW - peer-to-peer KW - wikis KW - concurrency control Y1 - 2007 U6 - http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:0297-zib-10466 SN - 1438-0064 ER -