TY - THES A1 - Kohla, Tim T1 - Entwicklung einer Anwendung zur Analyse und Darstellung von Metadaten eines nonlinearen Imageboards am Beispiel von Safebooru (safebooru.donmai.us) N2 - In den vergangenen Jahren ist die Popularität von sogenannten "nonlinearen Imageboards" im Internet immer weiter angestiegen. Auf solchen Imageboards sind Benutzende in der Lage, Bilder hochzuladen und zu verschlagworten. Diese hinzugefügten Informationen sind in Form von entsprechenden Metadaten für alle Bilder vorhanden. Es gibt jedoch bis jetzt keine einfache Möglichkeit, diese Daten zu analysieren und z.B. nach Mustern oder Aufkommen zu untersuchen. Vor diesem Hintergrund wird in dieser Arbeit eine Anwendung erstellt, welche die Metadatan eines ausgewählten nonlinearen Imageboards (Safebooru) sammelt, aufbereitet und anschließend zur Verfügung stellt. Die aufbereiteten Daten werden am Ende in Form einer React-Anwendung Benutzenden zur Verfügung gestellt. In dieser Arbeit wird dabei die Konzeptualisierung, der Entwurf, die Implementierung, das Testen und das Bereitstellen der Anwendung thematisiert. Das Ergebnis dieser Arbeit ist auf einer virtuellen Maschine der Hochschule bereitgestellt. Ebenso ist der Code der Arbeit auf GitHub einzusehen. N2 - In recent years, the popularity of so-called "non-linear imageboards" has seen a sharp increase. On such imageboards, users are capable of uploading different pictures and adding information to them. The resulting metadata is available for every image on the imageboard. However, after all those years, there is still no simple way available to analyse the data, e.g. regarding recurring patterns or image volume. Thus, the goal of this bachelor thesis is to create an application which gathers, processes, and analyses the metadata from a selected non-linear imageboard (Safebooru). This thesis covers the conceptualisation, design, implementation, testing, and the deployment of the application on a virtual machine. The results of this work are deployed on a virtual machine of the university where they can be accessed. The code of this work can be viewed on GitHub. T3 - Abschlussarbeiten 2022 - 75 KW - Data Science KW - Datenanalyse KW - Software Projekt Y1 - ER - TY - THES A1 - Kohla, Tim T1 - Hashtabellen und Hashfunktionen im Big-Data Framework Thrill N2 - In der heutigen Zeit steigt die Menge der weltweit generierten Daten kontinuierlich immer weiter an. Dies erzeugt jedoch Probleme, da konventionelle Technologien und Ansätze nicht mehr in der Lage sind diese Daten in akzeptabler Zeit zu verarbeiten. Entsprechend dessen wurden in der Vergangenheit verschiedene Lösungsansätze, Technologien und Frameworks wie etwa das MapReduce Programmiermodell entwickelt. Eines dieser Frameworks ist das Big-Data Framework Thrill, welches mit dem Ziel entwickelt wurde eine möglichst hohe Performanz für die Verarbeitung großer Daten bei gleichzeitig einfacher Benutzbarkeit zu bieten. Das Framework verfügt jedoch über Probleme, welche sich negativ auf die Skalierbarkeit auswirken. Einige dieser Probleme basieren auf der Verwendung Hashfunktionen und Hashtabellen. Im Rahmen dieser Arbeit wurden diese Probleme analysiert und Lösungsansätze entwickelt sowie evaluiert. Einige der Lösungsansätze wie die Verwendung einer festen Hashfunktion sowie die Implementierung einer neuen Hashtabelle auf Basis von Cuckoo Hashing wurden im Rahmen dieser Arbeit realisiert und im Anschluss bewertet. Dabei zeigte sich, dass durch Verwendung einer festen Hashfunktion Verbesserungen realisieren lassen. Es zeigte sich jedoch auch, dass die Hashtabelle auf Basis von Cuckoo Hashing über zahlreiche Probleme verfügt, wodurch der Einsatz von dieser Art von Hashtabellen in dem in der Arbeit vorgestelltem Kontext als kritisch zu bewerten ist. N2 - The amount of data generated worldwide is constantly increasing day by day. This creates several problems due to the fact that conventional technologies are unable to process the data in an acceptable time. As a result, various technologies and frameworks like the MapReduce paradigm were developed in the past. One of those solutions is the big data framework Thrill. Thrill was developed with the intention of creating a framework that offers a high performance for processing big data while offering a good usability at the same time. However, this framework has various issues that result in a negative impact on scalability. Some of those problems are based on the usage of hash tables and hash functions. In this thesis, those problems are analyzed, and several solutions are developed and evaluated. In addition, some solutions like the usage of a fixed hash function or the implementation of a new hash table based on cuckoo hashing were realized and evaluated as part of this thesis. It is shown that the usage of a fixed hash function can have a positive impact on the performance of the framework. However, it is also shown that the hash table based on T3 - Abschlussarbeiten 2024 - 14 KW - Big Data KW - Data Science KW - Hashfunktion KW - Hashtabelle KW - Thrill Y1 - ER -