@masterthesis{Villavicencio2024, type = {Bachelor Thesis}, author = {Villavicencio, Santiago}, title = {Modernes Cluster Management f{\"u}r Deep Learning Workloads}, doi = {10.57688/429}, url = {http://nbn-resolving.de/urn:nbn:de:bvb:860-opus4-4292}, school = {Hochschule f{\"u}r Angewandte Wissenschaften Landshut}, pages = {37}, year = {2024}, abstract = {Diese Bachelorarbeit untersucht die Herausforderungen und L{\"o}sungen bei der Verwaltung moderner Cluster, die durch hohe Anforderungen an Rechenleistung und Datenverarbeitung entstehen. In dieser Arbeit wird das Potenzial eines Deep-Learning Hardware-Management-Systems zur Verwaltung unserer lokalen Recheninfrastruktur untersucht: SkyPilot. Die Studie zielt darauf ab, eine wartungsarme, hochflexible L{\"o}sung zu entwickeln, welche die Arbeitsabl{\"a}ufe der Forscherinnen und Forscher nur minimal beeintr{\"a}chtigt, reibungslos von unseren Maschinen zu verschiedenen Rechnern in unserem Labor skaliert und moderne Tools wie das Accelerate-Paket von Huggingface und JAX unterst{\"u}tzt. Die L{\"o}sung sollte auch große Grafikkarten-Speichersysteme f{\"u}r die Verfolgung der Workloads integrieren und die Sicherheit der Vorkaufsrechte f{\"u}r langlaufende Auftr{\"a}ge gew{\"a}hrleisten. Die Arbeit wird mit SkyPilot beginnen und darauf abzielen, dessen Funktionalit{\"a}t vor Ort zu implementieren. Zu den erwarteten Ergebnissen geh{\"o}rt eine praktische L{\"o}sung f{\"u}r mindestens einen unserer lokalen Server und die einzelnen Maschinen in K017, welche den K017-Clustern bilden. Diese L{\"o}sung wird an mehreren großen Datens{\"a}tzen von Huggingface demonstriert und soll sowohl mit lokalen als auch mit Cloud-basierten Clustern kompatibel sein. Die Voraussetzungen f{\"u}r dieses Projekt umfassen einen kleinen Server, der als Testsystem zur Verf{\"u}gung steht, sowie den Zugang zu allen Rechnern in K017 außerhalb der Vorlesungszeiten. Es wird erwartet, dass sich das Dokument im Laufe des Projekts weiterentwickelt, und bei Bedarf Klarstellungen und Anpassungen vorgenommen werden.}, language = {de} }