Self-Aware EO-Workflow-Orchestrierung: Performance-Vorhersage, Optimierung, Fehlertoleranz und Reproduzierbarkeit

• Antragsteller: Professor Dr.-Ing. Samuel Kounev
• Fachliche Zuordnung: Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme ; Datenmanagement, datenintensive Systeme, Informatik-Methoden in der Wirtschaftsinformatik ; Geodäsie, Photogrammetrie, Fernerkundung, Geoinformatik, Kartographie ; Softwaretechnik und Programmiersprachen
• Förderung: Förderung seit 2024
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 522760169

Moderne Workflows in der Erdbeobachtung (EO) und Nachhaltigkeitsforschung sind zunehmend dynamisch, wobei ihr Verhalten häufig von den Eingabedaten und Zwischenergebnissen beeinflusst wird, die erst während der Ausführung verfügbar werden. Die dynamische Natur von Workflows in Verbindung mit der zunehmenden Vielfalt von Ausführungsumgebungen macht die Vorhersage des Ressourcenbedarfs und der Ausführungszeit von Workflows immer schwieriger. Dazu kommt noch, dass Workflows typischerweise einen variierenden Grad an Parallelität und Ressourcenverbrauch über ihre Ausführungszeit aufweisen. Ein weiteres wichtiges Problem besteht darin, dass die üblichen Ressourcen-Management-Systeme (Cluster-, Cloud- und High-Performance-Computing-Umgebungen) in der Regel die Struktur des Workflows und die Abhängigkeiten zwischen den einzelnen Schritten nicht kennen, so dass ihre Entscheidungen über die Platzierung der Software-Komponenten und deren zeitliche Ausführung aus Sicht der Performance und Ressourceneffizienz oft suboptimal sind. Um dieses Problem anzugehen, werden wir uns in diesem Projekt mit der Entwicklung einer flexiblen und dynamischen Architektur befassen, durch die das EO-Workflow-Orchestrierungssystem und die zugrundeliegenden Ressourcen-Management-Systeme relevante Informationen austauschen können, um gemeinsam die Workflow-Ausführungen und die Ressourceneffizienz zu optimieren. Bei der Ausführung eines Workflows muss ein Geowissenschaftler lediglich die Ausführungsziele und Anforderungen auf einer hohen Abstraktionsebene angeben, z.B. Ausführungsfristen (Time-to-Result), Budgetgrenzen, mögliche Einschränkungen der verwendeten Infrastruktur (dedizierte Ressourcen vs. öffentliche Clouds, möglicherweise auf geografische Regionen beschränkt) und Reproduzierbarkeitsanforderungen. Auf der Grundlage dieser Parameter sollte die Plattform die Workflow-Orchestrierung durch selbstlernende und schlussfolgernde Algorithmen automatisch optimieren, wobei Monitoring und verschiedene prädiktive Modellierungstechniken integriert werden, um ein neues Maß an Self-Awareness und operationeller Effizienz zu erreichen. Auf einer eher technischen Ebene werden die wichtigsten Ergebnisse dieses Projekts sein: (1) eine neuartige Architektur auf der Grundlage des Blackboard-Softwarearchitekturmusters, die es der Workflow-Orchestrierung ermöglicht, eng mit den zugrundeliegenden Ressourcen-Management-Systemen zu interagieren, und zwar auf der Grundlage eines gemeinsamen Arbeitsbereichs, der aktuelle Informationen über den Status aktueller Ausführungspläne sowie Zugang zu Online-Modellen und Überwachungsdaten bietet; (2) eine Reihe von Algorithmen und Mechanismen für die Workflow-Scheduling, -Überwachung und -Protokollierung, die eine fehlertolerante, erklärbare und reproduzierbare Ausführung ermöglichen; (3) Online-Performance-Modelle für die Laufzeitoptimierung und Abschätzung des Ressourcenbedarfs sowie Vorhersage der Ausführungszeit.

• DFG-Verfahren: Forschungsgruppen
• Teilprojekt zu: FOR 5696: SOS: Serverless-Scientific-Computing und -Engineering für Erdbeobachtungs- und Nachhaltigkeitsforschung