VAMPIR – Virtualisierte nicht-funktionale Speichereigenschaften für Daten-Pipeline-Einplanung

• Antragsteller: Professor Dr.-Ing. Wolfgang Lehner; Professor Dr.-Ing. Horst Schirmeier
• Fachliche Zuordnung: Datenmanagement, datenintensive Systeme, Informatik-Methoden in der Wirtschaftsinformatik ; Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
• Förderung: Förderung seit 2022
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 502444078

Aktuelle Fortschritte in Rechnerarchitektur und moderner Hardware stellen einen Wendepunkt für HW/SW-Codesign dar. Obwohl alle Hardwarebereiche von dieser Entwicklung betroffen sind, hat sich vor allem im Bereich Speicher ein beispielloser Wandel vollzogen: Neuartige Hardware verwischt das traditionelle Bild einer Speicherhierarchie. Große Caches, High-Bandwidth-Memory (HBM), Non-Uniform Memory Access (NUMA) oder Remote-Memory-Designs (wie RDMA oder CXL) sowie extrem schnelle SSDs ergänzen das heterogene Portfolio der verfügbaren Speichertechniken. Daher muss die traditionelle Hierarchie durch einen Pool von Speichertechniken ersetzt werden, die in einem mehrdimensionalen Entwurfsraum positioniert sind. Leider macht es dieser Freiheitsgrad Anwendungen (AW) schwer, diese Speicher effizient und effektiv zu nutzen. Im Rahmen unseres geplanten VAMPIR-Projekts untersuchen wir die Forschungshypothese, dass nur ein adäquates HW/SW-Co-Design (genauer: ein innovatives OS/App-Co-Design) in der Lage ist, die individuellen Eigenschaften heterogener Speicher vollständig zu erfassen und auszunutzen. Wir untermauern unsere Hypothese durch Beobachtungen aus zwei Richtungen: Einerseits sehen wir einen klaren Bedarf für ein Betriebssystem (BS), das mehr als nur den Zugriff auf Haupt- und Hintergrundspeicher bietet, sondern eine virtualisierte Speicherschicht mit Funktionen jenseits virtueller Adressräume bereitstellt. Bspw. sollten Komprimierung, Verschlüsselung, Fehlertoleranz, Replikation für ein höheres Maß an Persistenz usw. vom BS bereitgestellt und von AW genutzt werden. Andererseits stellen wir uns vor, dass künftige AW mit einem zugrunde liegenden BS „sprechen“ und die von der AW benötigten individuellen Eigenschaften „aushandeln“. Für diesen Aspekt konzentrieren wir uns auf die Klasse der datenintensiven AW (wie z.B. Datenbank-Query-Engines), die einzelne Datenströme einsetzen, die aus (a) voneinander abhängigen Datenpipelines mit nichtblockierenden Operatoren entlang einer Pipeline und (b) blockierenden Operatoren als Verbindungspunkte zwischen Pipelines bestehen. Im Rahmen des SPP 2377 zielt VAMPIR genau auf das Zusammenspiel der Optimierung der Ausführung datenintensiver AW auf Basis von Datenpipelines im Hinblick auf virtualisierte nicht-funktionale Speichereigenschaften auf disruptiven Speichertechnologien. Die Kernidee von VAMPIR besteht darin, (a) die Fähigkeit eines BS, Speicherzuweisungen unter Berücksichtigung nicht-funktionaler Anforderungen – in Bezug auf Fähigkeiten und auf zeitliche Beschränkungen – bereitzustellen, mit (b) der Möglichkeit der Verarbeitung von Datenpipelines mit einem vordefinierten Zeitplan für Pipeline-Ausführungen und abhängigen Speicheranforderungen zu kombinieren. Wir planen, diese Kombination in beiden Richtungen zu untersuchen, um die Aushandlung von Speicheranforderungen und -bereitstellung zu ermöglichen und damit die Grenzen des Co-Designs von BS und AW zu erweitern.

• DFG-Verfahren: Schwerpunktprogramme
• Teilprojekt zu: SPP 2377: Disruptive Hauptspeichertechnologien
• Mitverantwortlich: Professor Dr.-Ing. Dirk Habich