Detailseite
Projekt
Skalierung jenseits von DRAM mit PMem ohne Performanzverlust
Antragsteller
Professor Alfons Kemper, Ph.D.
Fachliche Zuordnung
Sicherheit und Verlässlichkeit, Betriebs-, Kommunikations- und verteilte Systeme
Förderung
Förderung von 2017 bis 2023
Projektkennung
Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 361477420
In den letzten 10 Jahren hat unsere Forschungsgruppe sich auf die Entwicklung von Hauptspeicher-Datenbanksystem-Technologie konzentriert. Auch wenn die meisten transaktionalen Datenbestände in hoch-skalierende Server mit einigen TB Hauptspeicher passen, sollten wir jetzt die neuen Möglichkeiten der gerade aufkommenden "persistent Memory" PMem-Technologie erforschen: (1) Das Preis/Performanz-Verhältnis scheint sehr vielversprechend und (2) die neuen Big Data-Anwendungen erfordern ein Datenvolumen, das jenseits der bisherigen Hauptspeicherkapazitäten liegt. Andere Ansätze verfolgen die Skalierung der Datenbankgröße durch Verteilung der Daten auf mehrere Server, scale-out genannt. Allerdings dominieren dann bei der Verarbeitung die Kommunikationskosten, selbst wenn man moderne Netzwerktechnologien nutzt. Deshalb wollen wir uns auf die Skalierung der Datenvolumen jenseits der DRAM-basierten Hauptspeicher durch PMem konzentrieren. Dieser sogenannte scale-up soll ohne Performanzverlust bei der Datenverarbeitung erzielt werden, solange die zu verarbeitenden Daten (also der working set) die Gesamtkapazität von DRAM und PMem nicht übersteigen. Das System darf auch bei noch größeren Datenmengen (also jenseits von DRAM plus PMem) keinen drastischen, sondern nur einen graduellen Leistungsabfall verursachen, indem wir dann auf schnelle SSD Speicher zurückgreifen. Das hier beantrage Forschungsprogramm soll in unser neu-entwickeltes Umbra Datenbanksystem integriert werden. Umbra ist der spirituelle, evolutionäre Nachfolger unseres erfolgreichen rein Hauptspeicher-basierten Systems HyPer. Umbra hebt also die Beschränkung der Datengröße auf Hauptspeicherkapazität vollständig auf. Umbra ist als langfristiges Projekt für die Big Data-Anwendungen ausgelegt. In dem hier beantragten dreijährigen Projekt wollen wir uns darauf konzentrieren, wie die modernen Speichertechnologien bestmöglich nutzbar gemacht werden können. Dazu müssen sowohl die Speicher- und Indexstrukturen der Daten als auch Schlüsselkomponenten des DBMS, wie Pufferung, Logging und Recovery re-konzipiert werden. Das Ziel ist also die Skalierung der zu verarbeitenden Daten jenseits der teuren DRAM-Kapazität; und das ohne Performanzeinbußen solange die Datengröße innerhalb der DRAM- plus PMem-Kapazität liegt. Das Umbra Datenbanksystem dient hierzu als Integrationsplattform für die beantragten Arbeiten, um das volle Spektrum der Einbindung von PMem in ein DBMS untersuchen zu können. Insofern stellt Umbra ein wertvolles, realitätsnahes Werkzeug für die ganzheitliche Untersuchung dar um die praktische Relevanz der Grundlagenforschung zu gewährleisten. Die breite Kompetenz des Teams reicht von DBMS- bis zu Betriebssystem-Expertise, nachdem Prof. Jana Giceva seit Jahresanfang die TUM-Gruppe verstärkt hat. Deshalb sehen wir uns in der Lage, die effektivste Ausnutzung der neuen Speichermedien sowohl auf Datenbank- oder tiefer und damit generischer auf Betriebssystem-Ebene zu entwickeln.
DFG-Verfahren
Schwerpunktprogramme
Mitverantwortliche
Professorin Dr. Jana Giceva; Professor Dr. Thomas Neumann
