Detailseite
Projekt
Netz- und Infrastrukturressourcen Management für die Verarbeitung großer Mengen von EO Daten
Antragsteller
Professor Dr. Tobias Hoßfeld
Fachliche Zuordnung
Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
Förderung
Förderung seit 2024
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 522760169
Nachhaltigkeitsforschende und Geowissenschaftler müssen sich derzeit der Herausforderung stellen, große Datenmengen manuell zu organisieren und zu verwalten, einschließlich der Vernetzung von Datenquellen und Rechenclustern sowie der Initiierung von Analyseaufgaben. Ziel des Teilprojekts CN1 ist es, diese Prozesse durch die Nutzung moderner Orchestrierungsprinzipien aus Cloud- und verteiltem Computing zu automatisieren. Der Fokus liegt dabei auf dem Design einer Netzinfrastruktur, die automatisierte Entscheidungen zur Aufgabenausführung unterstützt. Dies erfordert ein Overlay, das Rechen-, Speicher- und Netzknoten zu einer Steuerungsebene kombiniert, sowie Überwachungsmechanismen für Ressourcenmanagement, strategische Platzierung von Rechenaufgaben und eine adaptive Datenebene, um einen effizienten Datenaustausch zwischen Datenquellen, Recheninstanzen und Speicher für die Handhabung großer Datenmengen zu gewährleisten. Daher ist CN1 ein integraler Bestandteil der umfassenden Strategie der SOS-Forschergruppe. Das übergeordnete Ziel von CN1 ist es, eine datenzentrierte und rechenzentrierte Netzarchitektur zu entwickeln, die die Netzinfrastruktur durch (1) Infrastruktur-Ressourcenmanagement und (2) die Konsolidierung der Netz- und der serverlosen Plattformverwaltung bereitstellt. Wir führen ein neuartiges datenzentriertes und rechenzentriertes Netzwerk (DCN) Paradigma ein, das schließlich direkt in die Netz-, Rechen- und Speicherebenen integriert werden soll, um die Ausführung wissenschaftlicher Workflows zu erleichtern. CN1 untersucht Netzfunktionen, ihre Integration mit oberen Schichten, die dynamische Infrastrukturkonfiguration und die bedarfsgerechte Bereitstellung pro Aufgabe, um Rechenressourcen mit der notwendigen Konnektivität zwischen Datenquelle, Recheninstanz und Speicherknoten bereitzustellen. CN1 erforscht auf der Datenebene essenzielle DCN-Funktionen, die für datenintensive Rechenaufgaben definiert und disaggregiert werden. Auf der Steuerungsebene ist das Design einer Abstraktionsschicht der Infrastruktur für die wissenschaftliche Datenverarbeitung eine wichtige Forschungsfrage von CN1. Dies beinhaltet Koordination, Monitoring, Management und Orchestrierung von Infrastrukturknoten unter Nutzung eines dezentralen Netzes. Die wissenschaftlichen Analyseaufgaben beinhalten Ressourcenbedürfnisse, Ausführungsbeschränkungen (z. B. Ausführung in einem Docker-Container, in einer HPC-Umgebung oder auf CO2-neutralen Servern) und andere Metadaten wie Datenquellenstandorte. CN1 nutzt die vorhandenen Informationen des SOS-Rahmenwerkes und trägt zum kollektiven Wissensspeicher bei (z. B. Monitoringdaten). Eine wichtige Herausforderung von CN1 ist es, die Aufgabe an die besten (Netz-, Rechen-, Speicher-) Knoten zu platzieren und eine effiziente Konnektivität herzustellen. Schließlich werden verschiedene Möglichkeiten zur Verbesserung der Leistung und Skalierbarkeit der Steuerungs- und Datenebene (z. B. durch Caching) entworfen und analysiert.
DFG-Verfahren
Forschungsgruppen
