C5: Kollaborative und kontextübergreifende Cluster-Konfiguration für die verteilte Datenverarbeitung

• Antragsteller: Professor Dr. Odej Kao
• Fachliche Zuordnung: Datenmanagement, datenintensive Systeme, Informatik-Methoden in der Wirtschaftsinformatik ; Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 506529034

Viele Unternehmen analysieren heute regelmäßig große Datenmengen. Dazu verwenden sie häufig verteilte, datenparallele Verarbeitungssysteme und Rechencluster aus handelsüblicher Hardware. Vor allem kleinere Organisationen und individuelle Nutzer*innen werden dabei durch Big-Data-Frameworks und Cloud Computing in die Lage versetzt, mit großen Datenmengen auf einer hohen Abstraktionsebene zu arbeiten. Dennoch müssen geeignete Ressourcen für die verteilte, datenparallele Verarbeitung ausgewählt und konfiguriert werden. Das ist oft nicht einfach, so dass häufig sehr viele Ressourcen für Aufgaben reserviert werden, wodurch es zu einer geringen Ressourcenauslastung, einem hohen Energieverbrauch und hohen Kosten kommt. Zahlreiche wissenschaftliche Arbeiten haben sich in den letzten Jahren mit diesem Problem befasst, wobei insbesondere statistische Methoden und Leistungsmodellierung zum Einsatz kamen. Ein Großteil dieser Arbeiten konzentriert sich jedoch auf Situationen, in denen entweder davon ausgegangen werden kann, dass Informationen über frühere Ausführungen von bestimmten Datenverarbeitungsprogrammen zur Verfügung stehen, oder in denen potenziell kostspielige dedizierte Testläufe durchgeführt werden können. Wenig Forschung hat sich mit Anwendungsfällen befasst, in denen kaum historische Laufzeitdaten verfügbar sind und Testläufe ebenfalls keine geeignete Strategie sind. Um diese Lücke zu schließen, wollen wir im Rahmen des hier vorgeschlagenen Projekts neue Methoden für die gemeinsame Nutzung von Laufzeitdaten entwickeln. Wir sind davon überzeugt, dass die gemeinsame Nutzung von Laufzeitdaten über verschiedene Ausführungskontexte hinweg in vielen Situationen eine große Chance für die Leistungsmodellierung und das modell-gestützte Ressourcenmanagement darstellt, insbesondere wenn die Verfügbarkeit von Laufzeitdaten ansonsten begrenzt ist. Wir hoffen damit die Effizienz der verteilten datenparallelen Verarbeitung erheblich steigern zu können. Zu den Methoden, die wir in diesem Projekt entwickeln und evaluieren wollen, gehören: - Ähnlichkeitsmaße für unterschiedliche Rechenressourcen und verschiedene Datenverarbeitungsprogramme zur Verwendung von Laufzeitdaten und Leistungsmodellen über verschiedene Ausführungskontexte hinweg - Methoden zur Modellauswahl und -kombination für robustere Leistungsmodelle, auch wenn nur begrenzt viele Trainingsdaten verfügbar sind oder einzelne Modellkomponenten in anderen Ausführungskontexten trainiert wurden - Anpassungsstrategien, die eine effiziente Aktualisierung von Trainingsdaten, Leistungsmodellen und Ressourcenkonfigurationen zur Laufzeit ermöglichen Neben neuen Methoden zur kontext-übergreifenden Optimierung von Cluster-Konfigurationen auf der Grundlage gemeinsam genutzter Leistungsdaten und -modelle planen wir eine Analyse realer Arbeitslasten, die Entwicklung reproduzierbarer Experimente und die Bereitstellung einer nutzbaren Implementierung der neu entwickelten Methoden in laufenden Forschungsprojekten.

• DFG-Verfahren: Sachbeihilfen